Python數據分析與挖掘實戰（第2版）

前言
基礎篇
第1章　資料採擷基礎  2
1.1　某知名連鎖餐飲企業的困惑  2
1.2　從餐飲服務到資料採擷  4
1.3　資料採擷的基本任務  5
1.4　資料採擷建模過程  5
1.4.1　定義挖掘目標  6
1.4.2　數據取樣  6
1.4.3　資料探索  7
1.4.4　數據預處理  8
1.4.5　挖掘建模  8
1.4.6　模型評價  8
1.5　常用資料採擷建模工具  9
1.6　小結  11

第2章　Python資料分析簡介  12
2.1　搭建Python開發平臺  14
2.1.1　所要考慮的問題  14
2.1.2　基礎平臺的搭建  14
2.2　Python使用入門  16
2.2.1　運行方式  16
2.2.2　基本命令  17
2.2.3　資料結構  19
2.2.4　庫的導入與添加  24
2.3　Python資料分析工具  26
2.3.1　NumPy  27
2.3.2　SciPy  28
2.3.3　Matplotlib  29
2.3.4　pandas  31
2.3.5　StatsModels  33
2.3.6　scikit-learn  33
2.3.7　Keras  34
2.3.8　Gensim  36
2.4　配套附件使用設置  37
2.5　小結  38

第3章　資料探索  39
3.1　資料品質分析  39
3.1.1　缺失值分析  40
3.1.2　異常值分析  40
3.1.3　一致性分析  44
3.2　資料特徵分析  44
3.2.1　分佈分析  44
3.2.2　對比分析  48
3.2.3　統計量分析  51
3.2.4　週期性分析  54
3.2.5　貢獻度分析  55
3.2.6　相關性分析  58
3.3　Python主要資料探索函數  62
3.3.1　基本統計特徵函數  62
3.3.2　拓展統計特徵函數  66
3.3.3　統計繪圖函數  67
3.4　小結  74

第4章　數據預處理  75
4.1　數據清洗  75
4.1.1　缺失值處理  75
4.1.2　異常值處理  80
4.2　資料集成  80
4.2.1　實體識別  81
4.2.2　冗餘屬性識別  81
4.2.3　數據變換  81
4.2.4　簡單函數變換  81
4.2.5　規範化  82
4.2.6　連續屬性離散化  84
4.2.7　屬性構造  87
4.2.8　小波變換  88
4.3　數據歸約  91
4.3.1　屬性歸約  91
4.3.2　數值歸約  95
4.4　Python主要資料預處理函數  98
4.5　小結  101

第5章　挖掘建模  102
5.1　分類與預測  102
5.1.1　實現過程  103
5.1.2　常用的分類與預測演算法  103
5.1.3　回歸分析  104
5.1.4　決策樹  108
5.1.5　人工神經網路  115
5.1.6　分類與預測演算法評價  120
5.1.7　Python分類預測模型特點  125
5.2　聚類分析  125
5.2.1　常用聚類分析演算法  126
5.2.2　K-Means聚類演算法  127
5.2.3　聚類分析演算法評價  132
5.2.4　Python主要聚類分析演算法  133
5.3　關聯規則  135
5.3.1　常用關聯規則演算法  136
5.3.2　Apriori演算法  136
5.4　時序模式  142
5.4.1　時間序列演算法  142
5.4.2　時間序列的預處理  143
5.4.3　平穩時間序列分析  145
5.4.4　非平穩時間序列分析  148
5.4.5　Python主要時序模式演算法  156
5.5　離群點檢測  159
5.5.1　離群點的成因及類型  160
5.5.2　離群點檢測方法  160
5.5.3　基於模型的離群點檢測方法  161
5.5.4　基於聚類的離群點檢測方法  164
5.6　小結  167

實戰篇
第6章　財政收入影響因素分析及預測  170
6.1　背景與挖掘目標  170
6.2　分析方法與過程  171
6.2.1　分析步驟與流程  172
6.2.2　資料探索分析  172
6.2.3　數據預處理  176
6.2.4　模型構建  178
6.3　上機實驗  184
6.4　拓展思考  185
6.5　小結  186

第7章　航空公司客戶價值分析  187
7.1　背景與挖掘目標  187
7.2　分析方法與過程  188
7.2.1　分析步驟與流程  189
7.2.2　資料探索分析  189
7.2.3　數據預處理  200
7.2.4　模型構建  207
7.2.5　模型應用  212
7.3　上機實驗  214
7.4　拓展思考  215
7.5　小結  216

第8章　商品零售購物籃分析  217
8.1　背景與挖掘目標  217
8.2　分析方法與過程  218
8.2.1　資料探索分析  219
8.2.2　數據預處理  224
8.2.3　模型構建  226
8.3　上機實驗  232
8.4　拓展思考  233
8.5　小結  233

第9章　基於水色圖像的水質評價  234
9.1　背景與挖掘目標  234
9.2　分析方法與過程  235
9.2.1　分析步驟與流程  236
9.2.2　數據預處理  236
9.2.3　模型構建  240
9.2.4　水質評價  241
9.3　上機實驗  242
9.4　拓展思考  242
9.5　小結  243

第10章　家用熱水器用戶行為分析與事件識別  244
10.1　背景與挖掘目標  244
10.2　分析方法與過程  245
10.2.1　資料探索分析  246
10.2.2　數據預處理  249
10.2.3　模型構建  260
10.2.4　模型檢驗  261
10.3　上機實驗  262
10.4　拓展思考  264
10.5　小結  265

第11章　電子商務網站使用者行為分析及服務推薦  266
11.1　背景與挖掘目標  266
11.2　分析方法與過程  267
11.2.1　分析步驟與流程  267
11.2.2　數據抽取  269
11.2.3　資料探索分析  270
11.2.4　數據預處理  279
11.2.5　構建智慧推薦模型  283
11.3　上機實驗  291
11.4　拓展思考  293
11.5　小結  293

第12章　電商產品評論資料情感分析  294
12.1　背景與挖掘目標  294
12.2　分析方法與過程  295
12.2.1　評論預處理  296
12.2.2　評論分詞  297
12.2.3　構建模型  303
12.3　上機實驗  315
12.4　拓展思考  316
12.5　小結  318
提高篇

第13章　基於Python引擎的開來源資料挖掘建模平臺（TipDM）  320
13.1　平臺簡介  321
13.1.1　範本  321
13.1.2　資料來源  322
13.1.3　工程  323
13.1.4　系統元件  324
13.1.5　TipDM資料採擷建模平臺的當地語系化部署  326
13.2　快速構建資料採擷工程  327
13.2.1　導入數據  329
13.2.2　配置輸入源元件  331
13.2.3　配置缺失值處理元件  332
13.2.4　配置記錄選擇元件  334
13.2.5　配置資料標準化元件  334
13.2.6　配置K-Means元件  336
13.3　小結  339

為什麼要寫這本書

LinkedIn通過對全球超過3.3億用戶的工作經歷和技能進行分析後得出，在目前炙手可熱的25項技能中，資料採擷人才需求排名第一。那麼資料採擷是什麼呢？

數據挖掘是從大量資料（包括文本）中挖掘出隱含的、先前未知的、對決策有潛在價值的關係、模式和趨勢，並用這些知識和規則建立用於決策支援的模型，提供預測性決策支援的方法、工具和過程。資料採擷有助於企業發現業務的趨勢，揭示已知的事實，預測未知的結果，因此，資料採擷已成為企業保持競爭力的必要方法。

與國外相比，我國資訊化程度仍不算高，企業內部資訊也不完整，零售、銀行、保險、證券等行業對資料採擷的應用還不太理想。但隨著市場競爭的加劇，各行業對數據挖掘技術的需求越來越強烈，可以預計，未來幾年各行業的資料分析應用一定會從傳統的統計分析發展到大規模的資料採擷應用。在大資料時代，資料過剩、人才短缺，資料採擷專業人才的培養將離不開專業知識和職業經驗積累。所以，本書注重資料採擷理論與項目案例實踐相結合，讓讀者獲得真實的資料採擷學習與實踐環境，更快、更好地學習資料採擷知識並積累職業經驗。

總的來說，隨著雲時代的來臨，大資料技術將具有越來越重要的戰略意義。大資料已經滲透到每一個行業和業務職能領域，逐漸成為重要的生產要素，人們對於海量資料的運用將預示著新一輪生產率增長和消費者盈餘浪潮的到來。大資料分析技術將説明企業用戶在合理的時間內攫取、管理、處理、整理海量資料，為企業經營決策提供積極幫助。
 
大資料分析作為資料存儲和挖掘分析的前沿技術，廣泛應用於物聯網、雲計算、移動互聯網等戰略性新興產業。雖然目前大資料在國內還處於初級階段，但是其商業價值已經顯現出來，特別是有實踐經驗的大資料分析人才更是各企業爭奪的焦點。為了滿足日益增長的大資料分析人才需求，很多高校開始嘗試開設不同程度的大資料分析課程。“大資料分析”作為大資料時代的核心技術，必將成為高校數學與統計學專業的重要課程之一。