寫給大家看的大數據

第一部分　大數據入門　1

第1章　大數據基礎　3
　數據管理的演化過程　4
　理解數據管理的幾個關鍵　5
　　關鍵1：創建可管理的數據結構　5
　　關鍵2：Web和內容管理　7
　　關鍵3：管理大數據　7
　大數據的定義　9
　構建成功的大數據管理架構　10
　　捕捉、組織、集成分析與模擬　10
　　建立架構基礎　11
　　性能問題　13
　　傳統與高級分析　15
　大數據之旅　16

第2章　研究大數據類型　17
　定義結構化的數據　18
　　探索大結構化數據源　18
　　理解關系型數據庫在大數據中的角色　19
　定義非結構化數據　21
　　探索非結構化數據源　21
　　理解CMS在大數據管理中的角色　23
　理解實時需求和非實時需求　23
　聚合大數據　25
　　管理不同類型的數據　25
　　將不同類型的數據整合到大數據環境中　25

第3章　當老古董遇上新生代：分布式計算　27
　分布式計算簡史　27
　　感謝DARPA　27
　　可持續模型的價值　28
　了解分布式計算基礎　29
　　為什麼大數據需要分布式計算　29
　　計算經濟的改變　30
　　時延帶來的問題　30
　　當需求遇上解決方案　31
　獲取所需的性能　31

第二部分　大數據的技術基礎　33

第4章　深入大數據技術組件　35
　探索大數據棧　36
　第0層：帶冗余的物理基礎架構　37
　　物理冗余網絡　38
　　管理硬件：存儲與服務器　39
　　基礎架構操作　39
　第1層：安全框架　39
　進/出應用程序和互聯網的界面與接口　40
　第2層：可操作數據庫　42
　第3層：組織數據服務與工具　43
　第4層：可分析的數據倉庫　44
　大數據分析　45
　大數據應用程序　46

第5章　虛擬化及其如何支持分布式計算　47
　理解虛擬化的基本知識　47
　　在大數據中使用虛擬化的重要性　48
　　服務器虛擬化　50
　　應用程序虛擬化　50
　　網絡虛擬化　51
　　處理器和內存虛擬化　51
　　數據和存儲虛擬化　52
　使用Hypervisor管理虛擬化　53
　抽象化與虛擬化　54
　實現在大數據中的虛擬化　54

第6章　雲和大數據　56
　大數據領域中的雲　56
　理解雲部署和分發模型　57
　　雲部署模型　57
　　雲分發模型　59
　大數據需要雲　60
　在大數據中使用雲　61
　大數據雲市場的服務提供商　62
　　亞馬遜公共彈性計算雲(EC2)　63
　　谷歌的大數據服務　64
　　微軟Azure　64
　　OpenStack　65
　　在使用雲服務時需要注意什麼　65

第三部分　大數據管理　67

第7章　操作型數據庫　69
　RDBMS在大數據領域的重要性　71
　非關系型數據庫　72
　Key-Value型數據庫　73
　文檔數據庫　75
　　MongoDB　76
　　CouchDB　77
　縱列數據庫　78
　圖形數據庫　79
　空間數據庫　81
　混合持久化　83

第8章　MapReduce基礎　85
　MapReduce溯源　85
　理解Map函數　86
　添加Reduce函數　88
　結合Map和Reduce　89
　優化MapReduce　91
　　硬件/網絡拓撲　92
　　同步　92
　　文件系統　92

第9章　探索Hadoop的世界　94
　談談Hadoop　94
　理解Hadoop分布式文件系統(HDFS)　95
　　Name節點　95
　　數據節點　96
　　理解HDFS　97
　Hadoop的MapReduce　99
　　准備數據　100
　　開始Mapping　101
　　Reduce和融合　101

第10章　Hadoop基礎和生態　103
　使用Hadoop生態系統構建大數據基礎　103
　使用Hadoop YARN管理資源和應用程序　104
　使用HBase存儲大數據　105
　使用Hive挖掘大數據　106
　使用Hadoop生態系統　107
　　Pig和Pig Latin　107
　　Sqoop　108
　　Zookeeper　109

第11章　設備和大數據倉庫　111
　使用傳統數據倉庫裝載大數據　111
　　優化數據倉庫　112
　　區別大數據結構和數據倉庫數據　112
　　一個混合式處理的例子　113
　大數據分析和數據倉庫　114
　　集成的關鍵　115
　　再思考提取、變換和載入　115
　改變數據倉庫的角色　116
　改變部署模型　116
　　設備模型　117
　　雲模型　117
　數據倉庫的未來　117

第四部分　數據分析與大數據　119

第12章　定義大數據分析　121
　使用大數據獲得結果　121
　　基本分析　122
　　高級分析　123
　　實用性分析　126
　　貨幣化分析　126
　為掌握大數據修改商務智能產品　126
　　數據　126
　　分析算法　127
　　基礎架構支持　128
　大數據分析案例研究　128
　　Orbitz　129
　　Nokia　129
　　NASA　129
　大數據分析解決方案　130

第13章　理解文本分析和大數據　131
　探索非結構化數據　132
　理解文本分析　133
　分析和提取技術　135
　　理解信息抽取　136
　　分類學　137
　將結果匯總成結構化數據　138
　開始使用大數據　138
　　客戶的聲音　138
　　社交媒體分析　139
　大數據文本分析工具　141
　　Attensity　141
　　Clarabridge　142
　　IBM　142
　　OpenText　142
　　SAS　143

第14章　大數據分析的定制化　144
　構建新的大數據模型　145
　理解大數據分析的各種方法　147
　　大數據分析的定制應用程序　147
　　大數據分析的半定制化應用程序　149
　大數據分析框架的特點　151
　由大到小：大數據悖論　153

第五部分　大數據實現　155

第15章　集成數據源　157
　識別你需要的數據　157
　　勘探階段　158
　　編制階段　159
　　集成和整合階段　160
　理解大數據集成基礎　161
　定義傳統ETL　163
　理解ELT——提取、載入和轉換　164
　大數據質量優化　165
　使用Hadoop實現ETL　166
　大數據集成的最佳實踐　166

第16章　處理實時數據流和復雜事件　168
　流數據和復雜事件處理　169
　使用流數據　169
　　數據流　169
　　流的元數據　171
　使用復雜事件處理　172
　從流中分離出CEP　173
　商務領域的數據流和CEP　174

第17章　可操作的大數據　175
　讓大數據成為操作過程的一部分　175
　　集成大數據　175
　　疾病診斷中的大數據協作　177
　理解大數據工作流　180
　大數據的有效性、准確性和波動性　181
　　數據有效性　181
　　數據波動性　182

第18章　在企業中應用大數據　184
　大數據經濟學　184
　　數據類型和數據來源的識別　185
　　修改業務流或創建新的業務流　187
　　大數據工作流的技術影響　188
　　網羅大數據項目的人才　188
　　計算大數據的投入產出(ROI)　189
　企業數據管理和大數據　189
　創建大數據實施里程碑　190
　　理解業務緊迫性　191
　　正確地預測工作量　191
　　選擇正確的軟件開發方法學　191
　　平衡預算和功能　192
　　評估風險承受能力　192
　邁出第一步　193

第19章　大數據環境的安全和管理　195
　大數據下的安全　195
　　評估業務風險　196
　　大數據中潛藏的風險　196
　理解數據保護　197
　數據管理的挑戰　198
　　大數據過程審計　199
　　定位關鍵利益者　200
　正確運用組織架構　200
　　為管理風險做准備　200
　　制訂正確的管理規則和質量保障　201
　開發管理完善、安全可靠的大數據環境　201

第六部分　現實中的大數據解決方案　203

第20章　大數據對業務的重要性　205
　將大數據作為業務規划的工具　205
　　第一步：規划中引入數據　206
　　第二步：執行分析　206
　　第三步：檢查結果　207
　　第四步：落實計划　207
　規划過程的另一個維度　207
　　第五步：實時監控　208
　　第六步：調節影響　208
　　第七步：適應性實驗　208
　正確地看待數據分析　208
　在正確的基礎上開始行動　209
　規划大數據　210
　調整業務流程　210

第21章　從現實視角看數據分析　212
　理解用戶對運動型數據的需求　213
　流數據對環境的影響　214
　　使用傳感器來提供實時水文信息　215
　　實時數據的優勢　215
　流數據對公共政策的影響　216
　流數據在醫療行業的應用　217
　流數據在能源行業的應用　218
　　使用流數據提升能量產率　218
　　使用流數據提升能源產出　218
　連接數據流和歷史數據與其他實時數據源　219

第22章　從現實視角看大數據分析對業務流程的優化　220
　了解企業對大數據分析的需求　220
　使用文本分析提升客戶體驗　221
　使用大數據分析進行決策　222
　使用大數據分析避免欺詐　224
　整合新數據源的商業價值　225

第七部分　十項注意　227

第23章　十條大數據最佳實踐　229
　理解你的目標　229
　建立里程碑　230
　發現你的數據　230
　清楚你缺少什麼數據　230
　理解可選技術方案　231
　規划大數據安全　231
　規划大數據管理策略　231
　規划數據管家　232
　持續測試　232
　學習最佳實踐和利用模式　232

第24章　十個大數據資源　234
　Hurwitz & Associates　234
　標准化組織　234
　　開放數據基金會　234
　　雲安全聯盟　235
　　美國國家標准和科技機構　235
　　Apache軟件基金會　235
　　OASIS　235
　供應商的網站　236
　在線協作套件　236
　大數據會議　237

第25章　十條「要」與「不要」　238
　要將所有業務單元都涵蓋在大數據戰略中　238
　要評估所有的大數據分發模型　238
　要將傳統數據源作為大數據戰略的一部分　238
　要計划持久化元數據　239
　要分發你的數據　239
　不要依賴於單一的大數據分析方法　239
　不要在准備充分之前就膨脹　239
　不要忽略數據集成的需求　239
　不要忘記安全地管理數據　240
　不要忽略數據的管理效率　240

術語表　241