Python資料分析實戰 第2版

版權聲明

獻詞

譯者序

第1章 資料分析簡介　1

1.1　資料分析　1

1.2　資料分析師的知識範疇　2

1.2.1　電腦科學　2

1.2.2　數學和統計學　3

1.2.3　機器學習和人工智慧　3

1.2.4　資料來源領域　3

1.3　理解資料的性質　4

1.3.1　資料到資訊的轉變　4

1.3.2　資訊到知識的轉變　4

1.3.3　資料的類型　4

1.4　資料分析過程　4

1.4.1　問題定義　5

1.4.2　數據抽取　6

1.4.3　數據準備　6

1.4.4　資料探索和視覺化　7

1.4.5　預測建模　7

1.4.6　模型驗證　8

1.4.7　部署　8

1.5　定量和定性資料分析　9

1.6　開放數據　9

1.7　Python和資料分析　10

1.8　結論　11


第2章 Python世界簡介　12

2.1　Python——程式設計語言　12

2.2　Python 2和Python 3　14

2.2.1　安裝Python　15

2.2.2　Python發行版本　15

2.2.3　使用Python　17

2.2.4　編寫Python代碼　18

2.2.5　IPython　22

2.3　PyPI倉庫——Python包索引　25

2.4　SciPy　29

2.4.1　NumPy　29

2.4.2　pandas　29

2.4.3　matplotlib　30

2.5　小結　30


第3章　NumPy庫　31

3.1　NumPy簡史　31

3.2　NumPy安裝　31

3.3　ndarray：NumPy庫的心臟　32

3.3.1　創建陣列　33

3.3.2　資料類型　34

3.3.3　dtype選項　34

3.3.4　自帶的陣列創建方法　35

3.4　基本操作　36

3.4.1　算術運算子　36

3.4.2　矩陣積　37

3.4.3　自增和自減運算子　38

3.4.4　通用函數　39

3.4.5　彙總函式　39

3.5　索引機制、切片和反覆運算方法　40

3.5.1　索引機制　40

3.5.2　切片操作　41

3.5.3　陣列反覆運算　42

3.6　條件和布林陣列　44

3.7　形狀變換　44

3.8　陣列操作　45

3.8.1　連接陣列　45

3.8.2　陣列切分　46

3.9　常用概念　48

3.9.1　物件的副本或視圖　48

3.9.2　向量化　48

3.9.3　廣播機制　49

3.10　結構化陣列　51

3.11　陣列資料檔案的讀寫　52

3.11.1　二進位檔案的讀寫　53

3.11.2　讀取檔中的清單形式資料　53

3.12　小結　54


第4章 pandas庫簡介　55

4.1　pandas：Python資料分析庫　55

4.2　安裝pandas　56

4.2.1　用Anaconda安裝　56

4.2.2　用PyPI安裝　56

4.2.3　在Linux系統的安裝方法　57

4.2.4　用原始程式碼安裝　57

4.2.5　Windows模組倉庫　57

4.3　測試pandas是否安裝成功　57

4.4　開始pandas之旅　58

4.5　pandas資料結構簡介　58

4.5.1　Series對象　59

4.5.2　DataFrame對象　65

4.5.3　Index對象　71

4.6　索引物件的其他功能　72

4.6.1　更換索引　72

4.6.2　刪除　74

4.6.3　算術和資料對齊　75

4.7　資料結構之間的運算　76

4.7.1　靈活的算數運算方法　76

4.7.2　DataFrame和Series物件之間的運算　77

4.8　函數應用和映射　78

4.8.1　操作元素的函數　78

4.8.2　按行或列執行操作的函數　78

4.8.3　統計函數　79

4.9　排序和排位次　80

4.10　相關性和協方差　82

4.11　NaN數據　84

4.11.1　為元素賦NaN值　84

4.11.2　過濾NaN　84

4.11.3　為NaN元素填充其他值　85

4.12　等級索引和分級　85

4.12.1　重新調整順序和為層級排序　87

4.12.2　按層級統計資料　88

4.13　小結　88


第5章　pandas：數據讀寫　89

5.1　I/O API工具　89

5.2　CSV和文字檔　90

5.3　讀取CSV或文字檔中的資料　90

5.3.1　用RegExp解析TXT文件　92

5.3.2　從TXT檔讀取部分資料　94

5.3.3　將資料寫入CSV檔　94

5.4　讀寫HTML文件　96

5.4.1　寫入資料到HTML檔　96

5.4.2　從HTML檔讀取資料　98

5.5　從XML讀取數據　99

5.6　讀寫Microsoft Excel文件　101

5.7　JSON數據　102

5.8　HDF5格式　105

5.9　pickle——Python物件序列化　106

5.9.1　用cPickle實現Python物件序列化　106

5.9.2　用pandas實現物件序列化　107

5.10　對接資料庫　108

5.10.1　SQLite3數據讀寫　108

5.10.2　PostgreSQL數據讀寫　110

5.11　NoSQL資料庫MongoDB資料讀寫　112

5.12　小結　113


第6章　深入pandas：資料處理　114

6.1　數據準備　114

合併　115

6.2　拼接　118

6.2.1　組合　121

6.2.2　軸向旋轉　122

6.2.3　刪除　124

6.3　資料轉換　124

6.3.1　刪除重複元素　125

6.3.2　映射　125

6.4　離散化和麵元劃分　129

6.5　排序　133

6.6　字串處理　134

6.6.1　內置的字串處理方法　134

6.6.2　規則運算式　135

6.7　數據聚合　137

6.7.1　GroupBy　137

6.7.2　實例　138

6.7.3　等級分組　139

6.8　組反覆運算　140

6.8.1　鏈式轉換　140

6.8.2　分組函數　141

6.9　高級數據聚合　142

6.10　小結　145


第7章　用matplotlib實現資料視覺化　146

7.1　matplotlib庫　146

7.2　安裝　147

7.3　IPython和Jupyter QtConsole　147

7.4　matplotlib架構　148

7.4.1　Backend層　149

7.4.2　Artist層　149

7.4.3　Scripting層（pyplot）　150

7.4.4　pylab和pyplot　150

7.5　pyplot　151

7.6　繪圖窗口　152

7.6.1　設置圖形的屬性　153

7.6.2　matplotlib和NumPy　155

7.7　使用kwargs　157

7.8　為圖表添加更多元素　159

7.8.1　添加文本　159

7.8.2　添加網格　162

7.8.3　添加圖例　163

7.9　保存圖表　165

7.9.1　保存代碼　165

7.9.2　將會話轉換為HTML檔　167

7.9.3　將圖表直接保存為圖片　168

7.10　處理日期值　168

7.11　圖表類型　170

7.12　線性圖　170

7.13　長條圖　177

7.14　條狀圖　178

7.14.1　水準條狀圖　180

7.14.2　多序列條狀圖　181

7.14.3　為pandas DataFrame生成多序列條狀圖　182

7.14.4　多序列堆積條狀圖　183

7.14.5　為pandas DataFrame繪製堆積條狀圖　186

7.14.6　其他條狀圖　187

7.15　圓形圖　187

7.16　高級圖表　190

7.16.1　等值線圖　190

7.16.2　極區圖　192

7.17　mplot3d工具集　194

7.17.1　3D曲面　194

7.17.2　3D散點圖　195

7.17.3　3D條狀圖　196

7.18　多面板圖形　197

7.18.1　在其他子圖中顯示子圖　197

7.18.2　子圖網格　199

7.19　小結　200


第8章　用scikit-learn庫實現機器學習　201

8.1　scikit-learn庫　201

8.2　機器學習　201

8.2.1　有監督和無監督學習　201

8.2.2　訓練集和測試集　202

8.3　用 scikit-learn實現有監督學習　202

8.4　Iris資料集　202

8.5　K-近鄰分類器　207

8.6　Diabetes資料集　210

8.7　線性回歸：最小平方回歸　211

8.8　支持向量機　214

8.8.1　支援向量分類　215

8.8.2　非線性 SVC　218

8.8.3　繪製SVM分類器對Iris資料集的分類效果圖　220

8.8.4　支持向量回歸　222

8.9　小結　224


第9章　用TensorFlow庫實現深度學習　225

9.1　人工智慧、機器學習和深度學習　225

9.1.1　人工智慧　225

9.1.2　機器學習是人工智慧的分支　226

9.1.3　深度學習是機器學習的分支　226

9.1.4　人工智慧、機器學習和深度學習的關係　226

9.2　深度學習　227

9.2.1　神經網路和GPU　227

9.2.2　資料可用：開來源資料資源、物聯網和大資料　228

9.2.3　Python　228

9.2.4　Python深度學習框架　228

9.3　人工神經網路　229

9.3.1　人工神經網路的結構　229

9.3.2　單層感知器　230

9.3.3　多層感知器　232

9.3.4　人工神經網路和生物神經網路的一致性　232

9.4　TensorFlow　233

9.4.1　TensorFlow：Google開發的框架　233

9.4.2　TensorFlow：資料流程圖　233

9.5　開始TensorFlow 程式設計　234

9.5.1　安裝TensorFlow　234

9.5.2　Jupyter QtConsole程式設計　234

9.5.3　TensorFlow的模型和會話　234

9.5.4　張量　236

9.5.5　張量運算　238

9.6　用 TensorFlow實現SLP　239

9.6.1　開始之前　239

9.6.2　待分析的資料　239

9.6.3　SLP模型定義　241

9.6.4　學習階段　243

9.6.5　測試階段和正確率估計　246

9.7　用TensorFlow實現MLP（含一個隱含層）　248

9.7.1　MLP模型的定義　249

9.7.2　學習階段　250

9.7.3　測試階段和正確率計算　253

9.8　用TensorFlow實現多層感知器（含兩個隱含層）　255

9.8.1　測試階段和正確率計算　259

9.8.2　實驗資料評估　260

9.9　小結　262


第10章 資料分析實例——氣象資料　263

10.1　待檢驗的假設：靠海對氣候的影響　263

10.2　資料來源　265

10.3　用Jupyter Notebook分析資料　266

10.4　分析預處理過的氣象資料　269

10.5　風向頻率玫瑰圖　279

10.5　小結　283


第11章 Jupyter Notebook 內嵌

JavaScript庫D3　284

11.1　開放的人口資料來源　284

11.2　JavaScript庫D3　286

11.3　繪製簇狀條狀圖　290

11.4　地區分佈圖　293

11.5　2014年美國人口地區分佈圖　296

11.6　小結　300


第12章 識別手寫體數位　301

12.1　手寫體識別　301

12.2　用scikit-learn識別手寫體數位　301

12.3　Digits資料集　302

12.4　使用估計器學習並預測　304

12.5　用TensorFlow識別手寫體數位　306

12.6　使用神經網路學習並預測　307

12.7　小結　310


第13章 用NLTK分析文本資料　311

13.1　文本分析技術　311

13.1.1　自然語言處理工具集　311

13.1.2　導入NLTK庫和NLTK下載器　312

13.1.3　在NLTK語料庫檢索單詞　314

13.1.4　分析詞頻　315

13.1.5　從文本選擇單詞　317

13.1.6　二元組和搭配　318

13.2　網路文本資料的應用　319

13.2.1　從HTML文檔抽取文本　320

13.2.2　情感分析　320

13.3　小結　322


第14章 用OpenCV庫實現圖像分析和視覺計算　323

14.1　圖像分析和計算視覺　323

14.2　OpenCV和Python　324

14.3　OpenCV和深度學習　324

14.4　安裝OpenCV　324

14.5　影像處理和分析的第 1類方法　324

14.5.1　開始之前　324

14.5.2　載入和顯示圖像　325

14.5.3　影像處理　326

14.5.4　保存新圖　327

14.5.5　圖像的基本操作　327

14.5.6　圖像混合　330

14.6　圖像分析　331

14.7　邊緣檢測和圖像梯度分析　332

14.7.1　邊緣檢測　332

14.7.2　圖像梯度理論　332

14.7.3　用梯度分析檢測圖像邊緣示例　333

14.8　深度學習示例：面部識別　337

14.9　小結　339

附錄A　用LaTeX編寫數學運算式　340

附錄B　開放資料來源　350