敏捷數據科學：用Hadoop創建數據分析應用

第1部分 起步1

第1章 理論3
敏捷大數據3
BigWords定義4
敏捷大數據團隊5
認識機遇和問題6
敏捷大數據流程11
代碼檢查和結對編程12
敏捷的場所：開發的效率13
協作空間14
私人空間14
個人空間14
用大幅打印件明確表達想法15

第2章 數據17
電子郵件17
處理原始數據18
原始的電子郵件18
結構化與半結構化數據18
SQL20
NoSQL24
序列化24
從演變的模式中抽取和展示特征25
數據流水線26
數據透視27
社交網絡28
時間序列30
自然語言31
概率33
小結35

第3章 敏捷開發工具37
可擴展性=簡潔37
敏捷大數據處理38
設置運行Python的虛擬環境39
使用Avro對事件進行序列化40
在Python中使用Avro40
收集數據42
使用Pig處理數據44
安裝Pig45
使用MongoDB發布數據49
安裝MongoDB49
安裝MongoDB的Java驅動程序50
安裝mongo—hadoop50
用Pig向MongoDB推送數據50
使用ElasticSearch搜索數據52
安裝52
使用Wonderdog整合ElasticSearch和Pig53
對工作流程的反思55
輕量級的Web應用56
Python和Flask56
展示數據58
安裝Bootstrap58
啟用Bootstrap59
使用d3.js和nvd3.js可視化數據63
小結64

第4章 在雲端65
引言65
GitHub67
dotCloud67
dotCloudEcho服務68
Python工作者服務71
AmazonWebServices71
SimpleStorageService71
ElasticMapReduce72
MongoDB即服務79
輔助工具（Instrumentation）81
GoogleAnalytics81
MortarData82

第2部分 登上金字塔85

第5章 收集和展示數據89
整合軟件棧90
收集並序列化收件箱90
處理和發布郵件數據91
在瀏覽器中顯示郵件93
用Flask和pymongo處理郵件數據94
使用Jinja2渲染HTML5頁面94
敏捷檢查點98
生成電子郵件清單99
用MongoDB顯示郵件99
對數據展示的分析101
搜索郵件106
使用Pig，ElasticSearch和Wonderdog構建索引106
在網頁中搜索郵件數據107
結論108

第6章 使用圖表可視化數據111
優秀的圖表112
抽取實體：郵件地址112
抽取郵件112
對時間進行可視化116
結論122

第7章 利用報表探索數據123
為數據添加聯系126
用TF—IDF從郵件中提取關鍵字133
小結138

第8章 預測141
預測電子郵件的回復率142
個性化147
小結148

第9章 驅動行動149
好郵件的屬性150
使用朴素貝葉斯方法進行更好的預測150
P（Reply|From∩To）150
P（Reply|Token）151
實時預測153
記錄事件日志157
小結157

索引159