模型思維：簡化世界的人工智能模型

第1篇 模型為什麼這麼神奇
模型是一個很常見的名詞。與人力資源管理相關的有漏斗模型、人才模型、定級模型等；與工程師相關的有線性回歸模型、隱瑪律可夫模型、LDA模型等；與業務相關的有價格預測模型、銷量預測模型等；與銷售相關的有SSM模型、銷售漏斗模型、銷售能力模型等；與行銷相關的有市場衝突矩陣模型、品牌五力模型、區域行銷模型等……但到底什麼是模型、怎麼選擇合適的模型、怎麼創新模型，則是仁者見仁，智者見智。
第1章 為什麼要建立模型 2
1.1 什麼是模型 2
1.2 無處不在的模型 4
1.3 模型的意義 4
1.3.1 萬有引力定律 4
1.3.2 大陸漂移假說 5
1.3.3 日心說 5
1.4 模型都是對的嗎 6
1.4.1 模型可以是錯的 7
1.4.2 模型可以是未被證實的 7
1.4.3 模型可以是互相矛盾的 7
1.5 什麼模型是好模型 8
1.5.1 表示客觀事物的能力 8
1.5.2 簡化客觀事物的能力 9
1.5.3 評價模型好壞的模型 9
1.6 模型的演化 9
1.7 正確看待模型的價值與缺陷 10
1.7.1 正確看待模型的局限性 10
1.7.2 用歷史的觀點看模型 10
1.7.3 拋棄對模型的階級觀點 11
1.7.4 用發展的觀點看模型 11
1.8 本書的特點 12
1.8.1 對讀者的基礎要求 12
1.8.2 從場景出發講模型 12
1.8.3 從方法論的視角講模型 13
1.8.4 用類比的技巧講模型 13
1.8.5 避免讀者被數學公式嚇倒 13
1.8.6 避免“知識的詛咒” 14
1.9 本書主要內容 14
1.9.1 權重模型 15
1.9.2 狀態模型 15
1.9.3 序列模型 15
1.9.4 表示模型 16
1.9.5 相似模型 16
1.9.6 分類模型 16
第2章 模型的運用 18
2.1 用知識圖譜表示問題 18
2.1.1 知識圖譜的基本理念 18
2.1.2 建立知識圖譜的一般步驟 19
2.1.3 問題的屬性研究 19
2.1.4 問題的關係研究 20
2.2 問題分析的示例 20
2.2.1 前提假設分析 20
2.2.2 已有資料的分析 21
2.2.3 待求資料的分析 21
2.2.4 關係分析 21
2.3 權重問題的判斷 22
2.4 狀態問題的判斷 24
2.5 序列問題的判斷 25
2.6 表示問題的判斷 25
2.7 相似問題的判斷 26
2.8 分類問題的判斷 26
2.9 模型之間的關係 27

第2篇 權重模型：計算你的分量
世界上的萬事萬物，紛繁複雜，讓人眼花繚亂。幾千年來，人類一直在試圖發現事物背後的共性規律。在電腦學者眼裡，世界上幾乎所有問題，最終都可以歸結為權重計算的問題。
權重問題是一個通用問題，在各個學科中都已經有許多深入的研究，也有了許多計算各種各樣權重的方法。將這些權重計算方法進行整理並抽象，就簡化為模型了。
第3章 TF-IDF模型 33
3.1 應用場景 33
3.2 詞頻率—逆文檔頻率模型的計算 34
3.2.1 詞頻率模型 34
3.2.2 逆文檔頻率模型 37
3.2.3 TF-IDF模型 39
3.3 詞權重模型的平滑 40
3.4 引申閱讀 40
3.4.1 發明歷史 41
3.4.2 發明人簡介 41
3.4.3 最新研究 42
3.5 本章總結 42
第4章 線性回歸模型 43
4.1 應用場景 43
4.2 直觀理解回歸問題 44
4.3 一元線性回歸問題 45
4.3.1 鋼軌長度與溫度的關係 45
4.3.2 判斷最合適直線的兩個原則 47
4.3.3 最小二乘法 50
4.4 多元線性回歸問題 52
4.5 標準方程法 53
4.5.1 一些符號定義 53
4.5.2 矩陣表示 54
4.5.3 參數求解 55
4.5.4 用標準方程法計算銀行授信額度 58
4.6 梯度下降法 60
4.6.1 梯度下降法的直觀理解 60
4.6.2 坡度最陡下山法 63
4.6.3 坡度最陡下山法的類比 64
4.6.4 梯度下降法的計算 66
4.6.5 銀行授信額度的計算 67
4.7 梯度下降法與標準方程法的區別 68
4.8 引申閱讀 69
4.8.1 最小二乘法的發明 69
4.8.2 梯度下降法的發明 69
4.8.3 最新研究 69
4.9 本章總結 71
第5章 PageRank模型 73
5.1 應用場景 73
5.2 PageRank的直觀演算法 74
5.2.1 直觀理解 75
5.2.2 模型的初始化 77
5.2.3 模型的反覆運算 79
5.3 直觀演算法的漏洞修復 81
5.3.1 非連通漏洞 81
5.3.2 過河拆橋型漏洞 82
5.3.3 孤芳自賞型漏洞 85
5.3.4 過分謙虛型漏洞 85
5.3.5 隨機遊走模型 86
5.4 PageRank模型的計算 88
5.4.1 連結關係表 88
5.4.2 連結流覽矩陣 88
5.4.3 直接流覽矩陣 89
5.4.4 狀態轉移矩陣 89
5.4.5 反覆運算計算 90
5.4.6 計算示例 91
5.5 引申閱讀 92
5.5.1 收斂性證明 93
5.5.2 發明歷史 94
5.5.3 發明人簡介 94
5.5.4 相關研究 95
5.6 本章總結 95

第3篇 狀態模型：加官進爵的模型
事物是變化的，我們也要從意識形態上跟上客觀事物的變化，否則就會犯“刻舟求劍”的笑話。目前，最好的描述事物狀態改變的模型是自動機模型，又被稱為有限狀態自動機模型。
在電腦領域，有很多自動機模型的應用場景。例如常見的正向最大匹配分詞演算法其實就是一個自動機模型；在自然語言處理中，中文分詞、語音辨識、詞性標注、字串查找、拼寫糾錯、模糊匹配等都是自動機模型的變種；在網路安全領域中，我們最熟悉的病毒掃描場景，很多都使用了AC自動機模型，這也是一種狀態轉移自動機模型。
第6章 有限狀態自動機模型 100
6.1 應用場景 100
6.1.1 Java詞法分析 100
6.1.2 Java詞法分析示例 101
6.2 直觀理解與形式化描述 103
6.2.1 自動機模型的直觀理解 103
6.2.2 形式化描述 105
6.3 詞法分析自動機模型 105
6.3.1 注釋識別自動機 105
6.3.2 保留字識別自動機 107
6.4 位址解析自動機模型 108
6.4.1 位址解析場景概述 108
6.4.2 地址解析的難度 109
6.4.3 標準地址庫建設 110
6.4.4 位址識別自動機模型 111
6.5 引申閱讀 113
6.5.1 發明歷史 113
6.5.2 發明人簡介 114
6.5.3 最新研究 115
6.6 本章總結 115
第7章 模式匹配自動機模型 116
7.1 應用場景 116
7.2 形式化描述 118
7.3 BF模式匹配演算法 118
7.3.1 BF演算法的直觀理解 118
7.3.2 BF演算法的匹配過程示例 119
7.3.3 BF演算法的偽代碼表示 121
7.3.4 BF演算法的自動機模型 121
7.4 RK模式匹配演算法 122
7.5 KMP模式匹配演算法 123
7.5.1 KMP演算法的直觀理解 123
7.5.2 KMP演算法的匹配過程示例 125
7.5.3 移動長度的計算 127
7.5.4 KMP演算法的自動機模型 129
7.5.5 KMP演算法的總結 129
7.6 BM模式匹配演算法 129
7.6.1 後向BF演算法 130
7.6.2 實現跳躍式匹配 131
7.6.3 基於壞字元的模式匹配過程 132
7.6.4 壞字元匹配演算法的缺陷 137
7.6.5 好尾碼的匹配規則 138
7.6.6 BM模式匹配演算法介紹 141
7.6.7 BM演算法的自動機模型 143
7.7 AC模式匹配演算法 143
7.7.1 TRIE樹的使用 144
7.7.2 TRIE樹的構建 145
7.7.3 失效指針的直觀理解 146
7.7.4 失效指針的設置示例 147
7.7.5 失效指標的設置演算法 150
7.7.6 AC演算法的匹配過程示例 152
7.8 Wu-Manber模式匹配演算法 153
7.8.1 Wu-Manber演算法的直觀理解 153
7.8.2 Wu-Manber演算法的總體思路 155
7.8.3 字元塊 156
7.8.4 後移長度陣列 157
7.8.5 字元塊的雜湊值 159
7.8.6 倒排鏈表 159
7.8.7 首碼雜湊值 160
7.8.8 Wu-Manber演算法示例 161
7.9 引申閱讀 163
7.10 本章總結 166

第4篇 序列模型：揭示現象背後的規律
序列模型，就是根據可觀察的現象序列，探索其背後不可觀察的神秘序列。我們能夠想到的需要探索現象背後的邏輯、本質、規律等，都可以歸結為序列模型。
第8章 隱瑪律可夫模型 170
8.1 應用場景 171
8.2 瑪律可夫鏈 171
8.3 隱瑪律可夫模型的定義 173
8.3.1 直觀定義 173
8.3.2 形式化定義 174
8.3.3 盲人與苔蘚的例子 174
8.4 兩個假設 176
8.4.1 齊次瑪律可夫假設 176
8.4.2 觀察獨立性假設 176
8.5 評估問題 177
8.5.1 評估問題的應用價值 177
8.5.2 暴力求解法 178
8.5.3 前向演算法 179
8.5.4 前向演算法的形式化描述 185
8.5.5 前向演算法的演算法描述 186
8.5.6 後向演算法 187
8.6 解碼問題 190
8.6.1 暴力求解法 190
8.6.2 維特比演算法 190
8.6.3 維特比演算法的形式化描述 197
8.7 學習問題 198
8.7.1 監督學習 199
8.7.2 非監督學習 201
8.7.3 一個更簡單的EM演算法例子 202
8.7.4 更好一點的演算法 205
8.7.5 直觀方法 206
8.7.6 Baum-Welch演算法 207
8.7.7 Baum-Welch演算法的偽代碼表示 212
8.8 引申閱讀 213
8.8.1 發明人簡介 213
8.8.2 最新研究 214
8.9 本章總結 215
第9章 最大熵模型 216
9.1 應用場景 216
9.1.1 語義消歧 216
9.1.2 音字轉換 217
9.1.3 其他常見場景 217
9.2 直觀理解最大熵 217
9.2.1 熵增加原理 217
9.2.2 熵的定義 218
9.2.3 不要把雞蛋放在同一個籃子裡 219
9.2.4 不要隨意添加主觀假設 219
9.3 最簡單的最大熵計算示例 220
9.3.1 方程組求解 220
9.3.2 最大熵化 221
9.3.3 拉格朗日乘子法 221
9.3.4 骰子的概率計算 223
9.3.5 計算複雜度分析 225
9.4 形式化定義 226
9.4.1 經驗分佈 226
9.4.2 特徵函數 227
9.4.3 特徵範本 228
9.4.4 約束條件及其期望 228
9.4.5 條件熵 230
9.4.6 最大熵的定義 230
9.5 最大熵模型的計算流程 231
9.5.1 模型訓練 231
9.5.2 模型執行 232
9.6 平滑方法 232
9.6.1 拉普拉斯平滑 233
9.6.2 古德—圖靈平滑 236
9.6.3 Jelinek-Mercer平滑 238
9.6.4 Katz平滑 239
9.6.5 絕對折扣平滑 241
9.6.6 Witten-Bell平滑 241
9.6.7 Kneser-Ney平滑 242
9.6.8 各種平滑方法的演化關係 243
9.7 特徵選擇 245
9.7.1 基於閾值的特徵選擇 245
9.7.2 增量式特徵選擇 245
9.8 參數計算 246
9.8.1 參數計算的形式化 246
9.8.2 參數的數值計算 248
9.9 引申閱讀 250
9.10 本章總結 251

第5篇 表示模型：萬事萬物的表示
當人們在看到某個事物或現象後，需要向沒有看到的人描述這個事物或現象時，就需要盡可能找一個讓對方可以接受並理解的方式來表示該事物或現象。對事物或現象的表示，是這個事物或現象區別於其他事物或現象的基礎，是進行轉述、分析、處理的前提。
到了現代社會，表示方法越來越普遍，使用也越來越頻繁。重大的科技創新，往往都是從表示方法創新開始的。
第10章 向量空間模型 256
10.1 應用場景 256
10.2 之前的文本表示方法 257
10.3 向量空間模型 258
10.3.1 文檔的詞袋化 258
10.3.2 文檔的向量化 259
10.3.3 詞項的權重計算 261
10.4 相似度計算 263
10.5 引申閱讀 264
10.5.1 發明人介紹 264
10.5.2 最新研究 264
10.6 本章總結 265
第11章 潛在語義分析模型 266
11.1 應用場景 266
11.2 LSA模型的計算 268
11.2.1 詞—文檔矩陣 268
11.2.2 奇異值分解 270
11.2.3 降維處理 272
11.3 結果的解讀 275
11.3.1 3個矩陣的物理含義 275
11.3.2 實驗結果解讀 275
11.4 為什麼LSA模型有效 277
11.5 LSA模型的應用 278
11.5.1 識別同義詞和近義詞 278
11.5.2 文檔的聚類和分類 280
11.5.3 跨語言語義檢索 281
11.6 LSA模型的不足 282
11.7 引申閱讀 283
11.7.1 發明人介紹 283
11.7.2 最新研究 283
11.8 本章總結 284

第6篇 相似模型：誰與我臭味相投
在現實生活的許多場景中，都需要判斷兩個事物有多相似。各種事物之所以可以比較，是因為我們已經潛在地計算了事物之間的相似度。之所以稱這種相似度是“潛在的”，是因為我們以為是在尋找事物之間的差異，其實在尋找差異之前我們已經找到了相似之處。
第12章 相似模型 288
12.1 歐幾裡得距離 288
12.2 曼哈頓距離 289
12.3 切比雪夫距離 292
12.4 閔可夫斯基距離 293
12.5 馬哈拉諾比斯距離 293
12.5.1 用歐氏距離計算身材相似度 293
12.5.2 歐氏距離失效的原因 294
12.5.3 引入原因 295
12.5.4 方差與協方差 295
12.5.5 馬氏距離的定義 298
12.5.6 馬氏距離為什麼有效 299
12.6 皮爾遜相關係數 299
12.7 Jaccard相關係數 300
12.8 余弦相似度 302
12.9 漢明距離 304
12.10 KL散度 305
12.11 海林格距離 307
12.12 編輯距離 307
12.13 本章總結 312

第7篇 分類模型：物以類聚，人以群分
分類問題是我們在日常生活中每時每刻都可能遇到的。分類也是所有決策制定的基礎，沒有分類，就不可能有決策的制定與實施。各行各業每天都在處理各式各樣的分類問題：高校要根據高考成績判斷是否錄用考生；HR要根據候選人簡歷判斷是否安排面試；公司CEO要根據市場情況及時調整產品戰略和銷售目標；農民要根據天氣、作物生長狀況等決定是否澆水、施肥；廚師要根據火候判斷菜品是否應該出鍋；司機要根據目的地和交通狀況決定是直行還是轉向……
在現實生活中，我們可能遇到的分類問題千差萬別，可以對分類問題進行分類，從而使每一類分類問題可以用一類分類模型來處理。
第13章 感知機模型 315
13.1 應用場景 315
13.2 神經元的工作原理 317
13.3 感知機模型的原理 320
13.3.1 感知機模型的數學表示 320
13.3.2 感知機模型的分類原理 320
13.3.3 距離的計算 323
13.3.4 代價函數 323
13.4 參數訓練 324
13.4.1 梯度下降法 324
13.4.2 計算示例 325
13.5 引申閱讀 326
13.5.1 發明歷史 326
13.5.2 最新研究 327
13.5.3 與其他模型的關係 327
13.6 本章總結 328
第14章 邏輯回歸模型 329
14.1 應用場景 329
14.2 直觀理解邏輯回歸模型 330
14.2.1 邏輯回歸的目標模型 330
14.2.2 邏輯回歸模型的工作原理 332
14.3 邏輯回歸模型的計算 333
14.3.1 相關符號表示 333
14.3.2 代價函數 334
14.3.3 梯度下降法 335
14.4 引申閱讀 336
14.4.1 發明人簡介 336
14.4.2 發明歷史 337
14.4.3 最新研究 337
14.5 本章總結 338
第15章 樸素貝葉斯模型 339
15.1 應用場景 339
15.2 先驗概率和後驗概率 340
15.3 貝葉斯公式 341
15.3.1 全概率公式 341
15.3.2 逆概率公式 342
15.4 獨立假設 343
15.5 文本分類的案例 344
15.5.1 訓練樣本介紹 345
15.5.2 詞典與先驗概率 345
15.5.3 直接使用貝葉斯公式 346
15.5.4 拉普拉斯平滑 347
15.6 引申閱讀 349
15.7 本章總結 349
第16章 決策樹模型 350
16.1 應用場景 350
16.2 決策樹模型的直觀理解 351
16.2.1 猜數字的遊戲 351
16.2.2 猜動物的遊戲 352
16.2.3 決策樹模型要解決的問題 354
16.3 最佳決策樹 354
16.3.1 蠻力的方法 355
16.3.2 從數據中領悟審批原則 355
16.3.3 什麼是好問題 356
16.4 信息量的計算 357
16.4.1 資訊熵的定義 357
16.4.2 熵的計算示例 358
16.4.3 熵的單位 359
16.5 資訊增益與ID3演算法 359
16.5.1 條件熵的定義 360
16.5.2 資訊增益的計算 360
16.5.3 使用資訊增益選擇特徵 361
16.5.4 ID3演算法 364
16.6 資訊增益比與C4.5演算法 364
16.6.1 資訊增益比的定義 364
16.6.2 計算示例 365
16.6.3 C4.5演算法 365
16.7 基尼係數與CART演算法 366
16.7.1 基尼係數定義 367
16.7.2 基尼係數計算示例 368
16.7.3 CART分類樹演算法 372
16.7.4 CART回歸樹 373
16.8 引申閱讀 375
16.8.1 發明歷史 375
16.8.2 最新研究 377
16.9 本章總結 377
第17章 支援向量機模型 378
17.1 應用場景 378
17.2 一元支持向量機 379
17.3 二元支持向量機 383
17.3.1 實例場景描述 383
17.3.2 最佳分類面 384
17.3.3 最佳分類直線的函數形式 385
17.3.4 分類間隔的計算 387
17.3.5 最大化問題的數學表示 388
17.3.6 拉格朗日乘子法 389
17.4 支持向量機的對偶問題 391
17.4.1 SVM模型的數學描述 391
17.4.2 SVM模型的對偶問題 392
17.5 支持向量機的參數求解 396
17.5.1 SMO演算法的形式描述 396
17.5.2 SMO演算法的整體思路 397
17.5.3 參數更新過程 399
17.5.4 乘子的啟發式選擇 401
17.6 引申閱讀 402
17.6.1 發明歷史 402
17.6.2 發明人簡介 403
17.6.3 最新研究 403
17.7 本章總結 404