內容簡介

本書按照需求規劃、需求實現、視覺化的流程進行編排，通過專案開發的主要流程，介紹資料倉庫的搭建過程。在整個資料倉庫的搭建過程中，本書介紹了主要組件的安裝部署、需求實現的具體思路，以及各種問題的解決方案等，並在其中穿插了許多與大資料和資料倉庫相關的理論知識，包括資料倉庫的概念、電商業務概述、資料倉庫理論和資料倉庫建模等。

本書共14章，其中，第1～3章是專案的前期準備階段，主要介紹了資料倉庫的概念和搭建需求，並初步搭建了本資料倉庫專案所需的基本環境；第4～7章是專案的核心部分，詳細介紹了資料倉庫的建模理論，並完成了資料從採集到分層搭建的全過程，是本書的重點部分；第8～14章是對資料治理各功能模組的實現，針對資料治理的不同功能需求分模組進行實現。

本書適合具有一定程式設計基礎並對大資料感興趣的讀者閱讀。通過學習本書，讀者可以快速瞭解資料倉庫，全面掌握資料倉庫相關技術。

作者介紹

尚矽谷教育是一家專業的IT教育培訓機構，開設了JavaEE、大資料、HTML5前端等多門學科，在互聯網上發佈的JavaEE、大資料、HTML5前端、區塊鏈、C語言、Python等技術視頻教程廣受讚譽。

第1章資料倉庫概論 1
1.1 資料倉庫的概念與特點 1
1.2 資料倉庫的演進過程 2
1.3 資料倉庫技術 3
1.4 資料倉庫基本架構 5
1.5 資料庫和資料倉庫的區別 8
1.6 學前導讀 9
1.6.1 學習的基礎要求 9
1.6.2 你將學到什麼 9
1.7 本章總結 10

第2章專案需求描述 11
2.1 前期調研 11
2.2 項目架構分析 12
2.2.1 電商資料倉庫產品描述 12
2.2.2 系統功能結構 13
2.2.3 系統流程圖 14
2.3 項目業務概述 14
2.3.1 採集模組業務描述 14
2.3.2 資料倉庫需求業務描述 15
2.3.3 資料視覺化業務描述 17
2.3.4 即席查詢業務描述 17
2.3.5 資料治理業務描述 18
2.4 系統運行環境 19
2.4.1 硬體環境 19
2.4.2 軟體環境 20
2.5 本章總結 22

第3章專案部署的環境準備 23
3.1 Linux環境準備 23
3.1.1 VMware安裝 23
3.1.2 CentOS安裝 23
3.1.3 遠端終端機安裝 31
3.2 Linux環境配置 35
3.2.1 網路配置 35
3.2.2 網路IP位址配置 36
3.2.3 主機名稱配置 36
3.2.4 防火牆配置 37
3.2.5 一般用戶設置 38
3.3 Hadoop環境搭建 38
3.3.1 虛擬機器環境準備 38
3.3.2 JDK安裝 43
3.3.3 Hadoop安裝 44
3.3.4 Hadoop分散式集群部署 45
3.4 本章總結 51

第4章使用者行為資料獲取模組 52
4.1 日誌生成 52
4.1.1 數據埋點 52
4.1.2 使用者行為日誌內容 52
4.1.3 使用者行為日誌格式 54
4.1.4 資料類比 58
4.2 訊息佇列Kafka 61
4.2.1 ZooKeeper安裝 61
4.2.2 ZooKeeper集群啟動、停止腳本 63
4.2.3 Kafka安裝 64
4.2.4 Kafka Eagle安裝 65
4.2.5 Kafka集群啟動、停止腳本 67
4.2.6 Kafka topic相關操作 68
4.3 採集日誌的Flume 68
4.3.1 Flume組件 69
4.3.2 Flume安裝 69
4.3.3 採集日誌的Flume配置 70
4.3.4 Flume的攔截器 71
4.3.5 採集日誌的Flume啟動、停止腳本 75
4.4 消費日誌的Flume 76
4.4.1 消費日誌的Flume配置 77
4.4.2 時間戳記攔截器 78
4.4.3 消費日誌的Flume啟動、停止腳本 80
4.4.4 資料通道測試 81
4.5 採集通道啟動、停止腳本 81
4.6 本章總結 83

第5章業務資料獲取模組 84
5.1 電商業務概述 84
5.1.1 電商業務流程 84
5.1.2 電商常識 85
5.1.3 電商業務表結構 85
5.1.4 資料同步策略 95
5.1.5 資料同步工具選擇 97
5.2 業務資料獲取 97
5.2.1 MySQL安裝 97
5.2.2 業務資料生成 99
5.2.3 業務資料模型梳理 102
5.2.4 DataX安裝 106
5.2.5 Maxwell安裝 108
5.2.6 全量同步 112
5.2.7 增量同步 122
5.3 本章總結 130

第6章資料倉庫搭建模組 131
6.1 資料倉庫理論準備 131
6.1.1 數據建模概述 131
6.1.2 關係模型與範式理論 132
6.1.3 維度模型 135
6.1.4 維度建模理論之事實表 136
6.1.5 維度建模理論之維度表 139
6.1.6 雪花模型、星形模型與星座模型 142
6.2 資料倉庫建模實踐 144
6.2.1 名詞概念 144
6.2.2 為什麼要分層 145
6.2.3 資料倉庫搭建流程 146
6.2.4 資料倉庫開發規範 153
6.3 資料倉庫搭建環境準備 157
6.3.1 Hive安裝 157
6.3.2 Hive on Spark配置 160
6.3.3 YARN容量調度器併發度問題 162
6.3.4 資料倉庫開發環境配置 162
6.3.5 類比資料準備 166
6.3.6 常用函數 168
6.3.7 複雜資料類型 169
6.4 資料倉庫搭建——ODS層 170
6.4.1 使用者行為資料 171
6.4.2 ODS層使用者行為資料導入腳本 172
6.4.3 業務資料 173
6.4.4 ODS層業務資料導入腳本 183
6.5 資料倉庫搭建——DIM層 186
6.5.1 商品維度表（全量） 186
6.5.2 優惠券維度表（全量） 189
6.5.3 活動維度表（全量） 191
6.5.4 地區維度表（全量） 193
6.5.5 時間維度表（特殊） 194
6.5.6 用戶維度表（拉鍊表） 195
6.5.7 DIM層首日數據裝載腳本 199
6.5.8 DIM層每日數據裝載腳本 199
6.6 資料倉庫搭建——DWD層 199
6.6.1 交易域加購物車事務事實表 200
6.6.2 交易域下單事務事實表 204
6.6.3 交易域取消訂單事務事實表 209
6.6.4 交易域支付成功事務事實表 214
6.6.5 交易域退單事務事實表 220
6.6.6 交易域退款成功事務事實表 224
6.6.7 交易域購物車週期快照事實表 227
6.6.8 工具域優惠券領取事務事實表 228
6.6.9 工具域優惠券使用（下單）事務事實表 229
6.6.10 工具域優惠券使用（支付）事務事實表 230
6.6.11 互動域收藏事務事實表 232
6.6.12 互動域評價事務事實表 233
6.6.13 流量域頁面流覽事務事實表 235
6.6.14 流量域啟動事務事實表 238
6.6.15 流量域動作事務事實表 240
6.6.16 流量域曝光事務事實表 243
6.6.17 流量域錯誤事務事實表 245
6.6.18 使用者域註冊事務事實表 248
6.6.19 使用者域登錄事務事實表 251
6.6.20 DWD層首日業務資料裝載腳本 254
6.6.21 DWD層每日業務資料裝載腳本 254
6.7 資料倉庫搭建——DWS層 255
6.7.1 最近1日匯總表 256
6.7.2 最近n日匯總表 269
6.7.3 歷史至今匯總表 279
6.8 資料倉庫搭建——ADS層 283
6.8.1 流量主題指標 283
6.8.2 使用者主題指標 286
6.8.3 商品主題指標 294
6.8.4 交易主題指標 302
6.8.5 優惠券主題指標 306
6.8.6 活動主題指標 307
6.8.7 ADS層數據導入腳本 307
6.9 資料模型評估及優化 308
6.10 本章總結 308

第7章 DolphinScheduler全流程調度 309
7.1 DolphinScheduler概述與安裝部署 309
7.1.1 DolphinScheduler概述 309
7.1.2 DolphinScheduler安裝部署 310
7.2 創建MySQL資料庫和表 317
7.3 DataX數據匯出 322
7.4 全流程調度 329
7.4.1 數據準備 329
7.4.2 全流程調度配置 330
7.5 電子郵件報警 337
7.5.1 註冊郵箱 337
7.5.2 配置電子郵件報警 339
7.6 本章總結 341

第8章資料視覺化模組 342
8.1 Superset部署 342
8.1.1 環境準備 342
8.1.2 Superset安裝 344
8.2 Superset使用 347
8.2.1 對接MySQL資料來源 347
8.2.2 製作儀錶盤 350
8.3 Superset實戰 354
8.3.1 製作柱狀圖 354
8.3.2 製作旭日圖 355
8.3.3 製作桑基圖 357
8.3.4 合成儀錶盤頁面 358
8.4 ECharts視覺化 359
8.5 本章總結 361

第9章即席查詢模組 362
9.1 Presto 362
9.1.1 Presto簡介 362
9.1.2 Presto安裝 363
9.1.3 Presto優化之資料存儲 367
9.1.4 Presto優化之SQL查詢語句 367
9.1.5 Presto注意事項 368
9.2 Kylin 368
9.2.1 Kylin簡介 368
9.2.2 HBase安裝 370
9.2.3 Kylin安裝 371
9.2.4 Kylin使用 373
9.2.5 Kylin Cube構建原理 384
9.2.6 Kylin Cube存儲原理 387
9.2.7 Kylin Cube構建優化 388
9.2.8 Kylin BI工具集成 392
9.3 即席查詢框架對比 398
9.4 本章總結 399

第10章集群監控模組 400
10.1 Zabbix入門 400
10.2 Zabbix部署 401
10.2.1 集群規劃 401
10.2.2 準備工作 401
10.2.3 配置Zabbix yum源 402
10.2.4 安裝並配置Zabbix 404
10.2.5 啟動、停止Zabbix 405
10.3 Zabbix使用 409
10.3.1 術語介紹 410
10.3.2 Zabbix實戰 410
10.3.3 創建範本 422
10.4 Grafana 427
10.4.1 Grafana安裝部署 427
10.4.2 快速入門 428
10.4.3 集成Zabbix 430
10.5 本章總結 439

第11章安全認證模組 440
11.1 Kerberos入門 440
11.1.1 Kerberos概述 440
11.1.2 Kerberos認證原理 440
11.2 Kerberos安裝 441
11.2.1 安裝Kerberos相關服務 441
11.2.2 修改設定檔 441
11.2.3 初始化KDC資料庫 442
11.2.4 修改管理員許可權設定檔 442
11.2.5 啟動Kerberos相關服務 443
11.2.6 創建Kerberos管理員用戶 443
11.3 Kerberos操作 443
11.3.1 Kerberos資料庫操作 443
11.3.2 Kerberos認證操作 444
11.4 Hadoop集成Kerberos 444
11.4.1 創建Hadoop系統使用者 444
11.4.2 為Hadoop各服務創建Kerberos主體（Principal） 445
11.4.3 修改Hadoop設定檔 448
11.4.4 配置HDFS使用HTTPS協定 452
11.4.5 配置YARN使用LinuxContainerExecutor 453
11.5 在安全認證模式下啟動Hadoop集群 455
11.5.1 修改本地特定路徑存取權限 455
11.5.2 啟動HDFS 456
11.5.3 修改HDFS特定路徑存取權限 457
11.5.4 啟動YARN 458
11.5.5 啟動HistoryServer 458
11.6 在安全認證模式下操作Hadoop集群 459
11.6.1 用戶要求 459
11.6.2 HDFS操作 459
11.6.3 MapReduce任務提交 463
11.7 Hive集成Kerberos 463
11.7.1 配置要求 463
11.7.2 配置認證 464
11.7.3 啟動HiveServer2服務 465
11.8 在安全認證模式下操作Hive 465
11.8.1 Beeline用戶端 465
11.8.2 DataGrip用戶端 465
11.9 在安全認證模式下執行資料倉庫全流程調度 469
11.9.1 用戶準備 469
11.9.2 修改資料獲取通道 470
11.9.3 修改資料倉庫各層腳本 473
11.9.4 修改資料匯出DataX設定檔 474

看更多