統計分析：從小數據到大數據

第1部分　資料分析準備

第1章　從業務到統計
1.1　業務需求從哪來 / 002
1.1.1　學習業務的最快途徑：閱讀運營報告 / 002
1.1.2　當務之急：研究痛點 / 004
1.1.3　資料分析之錨：未來戰略方向 / 005
1.1.4　對資料分析“小白”的有益建議 / 005
1.2　從小資料到大資料：資料體量與資訊分佈 / 008
1.2.1　實驗室：理論驗證 / 009
1.2.2　問卷：理論驗證 探索 / 011
1.2.3　資料庫：業務驗證 探索 / 012
1.2.4　資料資訊與統計模型 / 013
1.2.5　演算法應用：是否跨界 / 015
1.2.6　演算法特徵：角色 / 016
1.3　資料分析流程的啟示 / 019
1.3.1　假設：驗證與歸因 / 021
1.3.2　小概率：黑天鵝的不確定 / 025
1.3.3　抽樣技術：經濟是根本 / 026
1.3.4　選擇模型：方法論 / 028
1.3.5　顯著性判斷：可證偽 / 029

第2章　變數角色與描述
2.1　如何描述變數 / 032
2.1.1　分類變數與連續變數的分界線 / 032
2.1.2　分類變數及視覺化 / 033
2.1.3　連續變數及視覺化 / 037
2.2　因變數的測量 / 040
2.2.1　測量級別問題 / 040
2.2.2　是否存在測量誤差 / 045
2.2.3　誰會成為“主角” / 047
2.2.4　y 的量化場景 / 050
2.3　引數的選擇 / 053
2.3.1　驗證性：x 的選擇 / 054
2.3.2　探索性：x 的選擇 / 054

第3章　資料預分析
3.1　填補缺失 / 056
3.1.1　描述缺失資料：行、列、儲存格 / 056
3.1.2　缺失類型：隨機性 / 060
3.1.3　小資料填補方案：精確性探討 / 061
3.1.4　大資料填補方案：速度問題探討 / 068
3.2　處理異常值 / 069
3.2.1　單變數與雙變數異常 / 069
3.2.2　無監督異常：聚類分析 / 070
3.2.3　監督異常：回歸殘差分析 / 073
3.2.4　小資料與大資料如何看待異常值 / 076
3.3　消除共線性 / 080
3.3.1　共線性及其危害 / 081
3.3.2　小資料的方案：嶺回歸 / 082
3.3.3　大資料方案：專案合併與逐步回歸 / 084
3.4　內生性問題 / 088
3.4.1　內生性及其危害 / 088
3.4.2　問題核心：特徵選擇 / 089
3.4.3　三駕馬車之一：資料庫的應對策略 / 094
3.5　變數變換技術 / 102
3.5.1　正態分佈變換：對數變換 / 102
3.5.2　從0 到1：老闆最喜歡的符號% / 104
3.5.3　強異常值：秩的應用 / 105
3.5.4　量綱：標準化變換 / 106
3.6　編碼技術 / 107
3.6.1　為什麼需要分箱化 / 107
3.6.2　分箱技術要義：數據拐點 / 111
3.7　避免過擬合 / 113
3.7.1　導致過擬合：行列問題 / 113
3.7.2　小資料為什麼不談過擬合 / 114
3.7.3　避免過擬合：方法學 / 115

第2部分　構建模型與修正技術

第4章　線性回歸與統計家族
4.1　差異性問題：方差分析 / 121
4.1.1　差異的來源：主效應 / 121
4.1.2　差異的來源：交互效應 / 128
4.1.3　交互性解釋：交互效應圖製作 / 129
4.2　結構性問題：回歸分析 / 131
4.2.1　回歸分析流程 / 131
4.2.2　相關的風向標作用：文氏圖 / 135
4.2.3　偏相關的歸因：仲介和調節 / 137
4.2.4　回歸係數解釋：偏回歸圖 / 142
4.2.5　如何相信R2 / 149
4.2.6　以殘差看假設 / 152
4.2.7　殘差信息的有和無 / 158
4.2.8　小資料需求歸納：重結構輕預測 / 158
4.3　演算法進化REG：小資料專家的努力 / 159
4.3.1　演算法1.0：精確度 結構 / 160
4.3.2　演算法2.0：精確度 結構與預測 / 163
4.3.3　演算法3.0：速度 預測 / 164
4.3.4　演算法4.0：加速度 / 167

第5章　Logistic 回歸與統計家族
5.1　預測性問題：Logistic 回歸 / 168
5.1.1　卡方的風向標作用 / 169
5.1.2　不一樣的R2：預測分類表 / 170
5.1.3　回歸係數解釋：or 值與rr 值 / 171
5.1.4　修正技術：是x 而不是y / 174
5.1.5　大資料需求歸納：輕結構重預測 / 177
5.2　演算法進化Logistic：大資料與智慧 / 178
5.2.1　演算法1.0：穩定性 結構 / 178
5.2.2　演算法2.0：穩定性 結構與預測 / 179
5.2.3　演算法3.0：速度 預測 / 179
5.2.4　演算法4.0：加速度 / 179
5.3　演算法3.0 的榜樣：神經網路 / 180
5.3.1　神經網路演算法 / 180
5.3.2　DM 演算法預分析 / 183
5.3.3　基於神經網路的常規應用 / 185

第6章　降維技術
6.1　主成分回歸與壓縮技術 / 192
6.1.1　四駕馬車：實驗室、問卷、資料庫、雲 / 192
6.1.2　主成分演算法：降維 / 192
6.1.3　主成分與因數：誰應該有名字？ / 194
6.1.4　主成分回歸：“回歸 回歸”模式 / 196
6.2　對應分析：一個市場調查案例 / 197
6.2.1　案例背景介紹 / 197
6.2.2　模型預分析 / 199
6.2.3　構建模型：“廣義”雙標圖 / 203
6.2.4　結論及行銷 / 214

第3部分　模型應用與評估

第7章　回歸類模型應用
7.1　結構性問題：偏回歸係數 / 216
7.1.1　單結構：偏的意義 / 216
7.1.2　整體結構：條件規則 / 217
7.2　預測性問題：估計值 / 217
7.2.1　老樣本預測：內衍與市場細分 / 218
7.2.2　新樣本預測：外推與潛在行為 / 219
7.3　模型優劣與模型評價 / 219
7.3.1　R2 變形記 / 219
7.3.2　圖示R2：R2 圖與ROC 曲線 / 221
7.4　模型優劣與業務評價 / 221
7.4.1　小資料的標準：R2 / 221
7.4.2　大資料的標準：老闆 / 222

第8章　資料分析報告
8.1　視覺化圖形製作 / 223
8.1.1　橫條圖與折線圖 / 223
8.1.2　頻數與分佈 / 223
8.1.3　多變箱體圖 / 224
8.1.4　散點圖與氣泡圖 / 225
8.2　圖形製作與格式 / 227
8.2.1　圖形製作：繪圖、顏色 / 227
8.2.2　圖形範本製作與調用 / 229
8.3　表格製作與格式 / 230
8.3.1　表格製作：製錶、格式 / 230
8.3.2　表格範本製作與調用 / 232
8.3.3　OMS 控制台 / 234

附錄A　資料集