大數據從基礎理論到最佳實踐

大數據存儲篇

第1章 概述 1
1.1 什麼是大數據 2
1.2 大數據的技術轉型 3
1.3 數據分片 4
1.4 數據一致性 5
1.4.1 CAP原則 5
1.4.2 CAP與ACID 7
1.4.3 BASE原則 8
1.5 主流大數據技術 8
1.6 大數據職業方向 10
1.7 大數據實踐平台的搭建 10
1.7.1 初學者模式 10
1.7.2 物理集群模式 11
1.7.3 虛擬化集群模式 11
1.8 小結 12
第2章 HDFS文件系統 13
2.1 HDFS概述 14
2.1.1 分布式文件系統 14
2.1.2 HDFS介紹 16
2.2 HDFS的運行機制 18
2.2.1 HDFS的結構與組成 18
2.2.2 HDFS的數據操作 20
2.2.3 訪問權限 22
2.2.4 通信協議簇 23
2.2.5 HDFS的高可用性 24
2.2.6 集中緩存管理 25
2.2.7 日志和檢查點 26
2.2.8 HDFS快照 28
2.3 HDFS的數據存儲 29
2.3.1 數據完整性 29
2.3.2 數據壓縮 30
2.3.3 序列化 32
2.4 HDFS的安裝和配置 34
2.4.1 Hadoop的安裝 34
2.4.2 HDFS的配置 40
2.4.3 啟動HDFS 45
2.5 小結 47
第3章 HDFS操作實踐 49
3.1 HDFS接口與編程 50
3.1.1 Shell命令 50
3.1.2 Java接口操作 62
3.1.3 WebHDFS 69
3.1.4 其他接口 71
3.2 操作實踐 73
3.2.1 文件操作 73
3.2.2 壓縮與解壓縮 77
3.3 小結 80

大數據計算篇

第4章 YARN 81
4.1 YARN概述 82
4.2 YARN的主要組成模塊 83
4.3 YARN的整體設計 83
4.4 容量調度器 84
4.4.1 什麼是容量調度器 84
4.4.2 容量調度器的特性 85
4.4.3 配置RM使用容量調度器 85
4.5 公平調度器(Fair Scheduler) 86
4.5.1 什麼是公平調度器 86

4.5.2 分級隊列 87
4.5.3 公平調度器隊列的設置 87
4.6 資源管理者(RM)重啟機制 90
4.6.1 什麼是資源管理器重啟 90
4.6.2 非工作保存RM重啟 90
4.6.3 工作保存RM重啟 91
4.6.4 RM重啟配置yarn-site.xml 91
4.7 資源管理器的高可用性(RM HA) 92
4.7.1 什麼是資源管理器的高可用性 92
4.7.2 自動故障轉移 92
4.7.3 客戶端/應用管理器/節點管理器的故障轉移 92
4.7.4 部署RM HA 93
4.7.5 配置例子 94
4.7.6 管理員命令 95
4.8 節點標簽 95
4.8.1 節點標簽的特點 95
4.8.2 節點標簽的屬性 95
4.8.3 節點標簽的配置 96
4.8.4 使用節點標簽的調度器配置 96
4.8.5 節點標簽配置示例 97
4.8.6 指定應用的節點標簽 97
4.8.7 節點標簽的監控 98
4.9 YARN編程 98
4.9.1 什麼是YARN級別編程 98
4.9.2 YARN的相關接口 99
4.9.3 編程實踐 99
4.10 YARN服務注冊 107
4.10.1 為什麼需要服務注冊 107
4.10.2 配置服務注冊 107
4.10.3 安全選項 108
4.11 小結 108
第5章 MapReduce 109
5.1 MapReduce概述 110
5.1.1 Hadoop MapReduce 110
5.1.2 MapReduce的發展史 110
5.1.3 MapReduce的使用場景 111
5.2 Key-Value結構的特點 111
5.2.1 key的設計 111
5.2.2 value的設計 112
5.3 MapReduce的部署 112
5.3.1 軟件准備 112
5.3.2 配置文件 113
5.3.3 啟動YARN守護進程 113
5.4 MapReduce的程序結構 113
5.4.1 MR框架的輸入和輸出 114
5.4.2 WordCount 114
5.5 MapReduce的編程接口 116
5.5.1 Mapper接口 117
5.5.2 Reducer接口 117
5.5.3 Partitioner(分區) 118
5.5.4 Counter(計數器) 118
5.5.5 job工作機理 118
5.5.6 任務提交和監控(Job Submission and Monitoring) 121
5.5.7 任務的輔助文件(Task Side-Effect Files) 123
5.5.8 提交作業到隊列 123
5.5.9 MR中的計數器(Counters) 123
5.5.10 Profiling 123
5.5.11 Debugging 124
5.5.12 job Outputs 124
5.5.13 忽略壞記錄(SkippingBad Records) 124
5.6 MapReduce的命令行 125
5.6.1 概述 125
5.6.2 用戶命令(User Commands) 125
5.6.3 管理員命令(AdministrationCommands) 127
5.6.4 YARN-MapReduce的部署 128
5.7 WordCount的實現 129
5.8 小結 136


非關系型數據庫篇

第6章 使用HBase 137
6.1 HBase基礎 138
6.1.1 HBase是什麼 138
6.1.2 HBase偽分布式部署 140
6.1.3 服務的啟動與驗證 142
6.1.4 HBase Shell測試 142
6.1.5 Web測試 144
6.1.6 服務的關閉 147
6.2 HBase的架構原理 147
6.2.1 組成架構 147
6.2.2 數據模型 151
6.2.3 物理存儲 153
6.3 HBase的命令實踐 156
6.3.1 概述 157
6.3.2 命名空間 158
6.3.3 表管理 160
6.4 HBase的數據管理 166
6.4.1 數據的添加 167
6.4.2 數據的追加 168
6.4.3 數據的獲取 169
6.4.4 數據統計 172
6.4.5 表的掃描 173
6.4.6 數據的刪除 175
6.4.7 表的重建 175
6.5 HBase的集群管理 177
6.5.1 集群部署 177
6.5.2 自動化腳本 180
6.5.3 權限管理 182
6.5.4 集群調度 184
6.5.5 日志分析 186
6.6 小結 187
第7章 HBase編程開發 189
7.1 HBase的編程接口 190
7.1.1 rest編程接口 190
7.1.2 thrift接口 196
7.1.3 Java API接口 198
7.1.4 Java API示例 199
7.2 表與命名空間的編程 202
7.2.1 表的查看 203
7.2.2 表的創建 206
7.2.3 表的刪除 207
7.2.4 表的修改 208
7.2.5 命名空間 210
7.3 數據編程 213
7.3.1 數據的增加 214
7.3.2 單行查詢 216
7.3.3 集合查詢 217
7.3.4 過濾器 219
7.3.5 數據刪除 221
7.4 集群與優化編程 222
7.4.1 集群管理 222
7.4.2 集群監測 224
7.4.3 多表與表池 227
7.4.4 批處理 230
7.4.5 數據遷移 231
7.5 小結 234

大數據倉庫篇

第8章 數據倉庫概論 235
8.1 初識數據倉庫 236
8.1.1 什麼是數據倉庫 236
8.1.2 數據倉庫與數據庫 237
8.1.3 為什麼要有數據倉庫 239
8.2 數據倉庫的核心概念 240
8.2.1 數據平台 240
8.2.2 數據產品 241
8.2.3 商務智能(BI) 242
8.2.4 元數據 242
8.2.5 OLAP 242
8.2.6 ETL 243
8.2.7 數據質量 243
8.3 數據倉庫中的數據內容划分 243
8.3.1 多個數據倉庫 243
8.3.2 典型的數據倉庫分層 245
8.3.3 數據集市 246
8.4 OLAP 247
8.4.1 定義 247
8.4.2 維度建模 248
8.4.3 事實表 250
8.4.4 維度表 251
8.5 ETL 251
8.5.1 抽取 252
8.5.2 轉換 252
8.5.3 加載 254
8.5.4 ETL元數據 255
8.5.5 ETL工具 256
8.6 調度和運行 256
8.6.1 調度怎麼工作 257
8.6.2 需要考慮的其他方面 258
8.6.3 簡易調度示例 259
8.7 數據倉庫的架構 259
8.8 數據倉庫的展望 260
8.8.1 數據倉庫發展的階段性 260
8.8.2 未來的數據倉庫 262
8.9 小結 262
第9章 Hive 263
9.1 初識Hive 264
9.1.1 Hive是什麼 264
9.1.2 Hive的部署 264
9.1.3 以MySQL作為Hive的元數據庫 266
9.1.4 Hive的體系結構 268
9.1.5 Web界面展示 269
9.2 Hive命令行接口 270
9.2.1 啟動Hive命令行 270
9.2.2 可用的命令 271
9.3 Hive數據類型與常見的結構 271
9.3.1 數據類型 271
9.3.2 文件的存儲結構 273
9.4 HiveSQL 274
9.4.1 數據定義語言DDL 274
9.4.2 數據操縱語言DML 277
9.5 Hive的自定義函數 283
9.5.1 UDF 284
9.5.2 UDAF 286
9.5.3 UDTF 289
9.6 Hive的高級使用 292
9.6.1 視圖 292
9.6.2 索引 293
9.6.3 權限 294
9.6.4 Thrift服務 296
9.7 使用Hive構建數據倉庫 298
9.7.1 原始數據和結構 298
9.7.2 數據需求和模型設計 300
9.7.3 各層次數據的生成 301
9.8 小結 302

大數據實時計算篇

第10章 Storm實時系統 303
10.1 大數據實時系統概述 304
10.2 Kafka分布式消息系統 305
10.2.1 Kafka是什麼 305
10.2.2 主題的工作原理 306
10.2.3 分布式分區 307
10.2.4 生產者、消費者 307
10.2.5 數據保證 308
10.2.6 Kafka系統的應用場景 308
10.2.7 Kafka系統的部署 309
10.3 Storm實時處理系統 316
10.3.1 概述 316
10.3.2 為什麼使用Storm 316
10.3.3 Storm系統的特點 317
10.3.4 Storm系統的工作機制 318
10.3.5 Storm的分組方法 319
10.3.6 Storm系統的組件 320
10.3.7 搭建單點Storm系統 320
10.3.8 查看Storm UI 322
10.3.9 搭建Storm集群 322
10.3.10 Storm系統的操作實踐 323
10.3.11 Storm WordCount(寫RDB) 324
10.3.12 Storm WordCount(從Kafka讀取數據) 329
10.4 小結 331
參考文獻 332