深度學習與圍棋

第一部分 基礎知識
第1章 深度學器學 3
1.1 什麼是機器學
1.1.1 機器學I的關係 5
1.1.2 機器學什麼，不能做什麼 6
1.2 機器學 7
1.2.1 在軟體應用中使用機器學
1.2.2 監督學1
1.2.3 無監督學2
1.2.4 強化學2
1.3 深度學3
1.4 閱讀本書能學到什麼 14
1.5 小結 15
第2章 圍棋與機器學6
2.1 為什麼選擇遊戲 16
2.2 圍棋快速入門 17
2.2.1 瞭解棋盤 17
2.2.2 落子與吃子 18
2.2.3 終盤與勝負計算 19
2.2.4 理解劫爭 20
2.2.5 讓子 20
2.3 更多學 20
2.4 我們可以教會電腦什麼 21
2.4.1 如何開局 21
2.4.2 搜索遊戲狀態 21
2.4.3 減少需要考慮的動作數量 22
2.4.4 評估遊戲狀態 22
2.5 如何評估圍棋AI的能力 23
2.5.1 傳統圍棋評級 23
2.5.2 對圍棋A行基準測試 24
2.6 小結 24
第3章 實現第 一個圍棋機器人 25
3.1 在Python中表達圍棋遊戲 25
3.1.1 實現圍棋棋盤 28
3.1.2 在圍棋中跟蹤相連的棋組：棋鏈 28
3.1.3 在棋盤上落子和提子 30
3.2 跟蹤遊戲狀態並檢查非法動作 32
3.2.1 自吃 33
3.2.2 劫爭 34
3.3 終盤 36
3.4 創建自己的第 一個機器人：理論上最弱的圍棋AI 37
3.5 使用Zobrist雜湊加速棋局 41
3.6 人機對弈 46
3.7 小結 47

第二部分 機器學戲AI
第4章 使用樹搜索下棋 51
4.1 遊戲分類 52
4.2 利用極小化極大搜索預測對手 53
4.3 井字棋推演：一個極小化極大演算法的示例 56
4.4 通過剪枝演算法縮減搜索空間 58
4.4.1 通過棋局評估減少搜索深度 60
4.4.2 利用α-β剪枝縮減搜索寬度 63
4.5 使用蒙特卡洛樹搜索評估遊戲狀態 66
4.5.1 在Python中實現蒙特卡洛樹搜索 69
4.5.2 如何選擇繼續探索的分支 72
4.5.3 將蒙特卡洛樹搜索應用於圍棋 74
4.6 小結 76
第5章 神經網路入門 77
5.1 一個簡單的用例：手寫數字分類 78
5.1.1 MNIST手寫數字資料集 78
5.1.2 MNIST數據的預處理 79
5.2 神經網路基礎 85
5.2.1 將對率回歸描述為簡單的神經網路 85
5.2.2 具有多個輸出維度的神經網路 85
5.3 前饋網路 86
5.4 我們的預測有多好？損失函數及優化 89
5.4.1 什麼是損失函數 89
5.4.2 均方誤差 89
5.4.3 在損失函數中找極小值 90
5.4.4 使用梯度下降法找極小值 91
5.4.5 損失函數的隨機梯度下降演算法 92
5.4.6 通過網路反向傳播梯度 93
5.5 在Python中逐步訓練神經網路 95
5.5.1 Python中的神經網路層 96
5.5.2 神經網路中的啟動層 97
5.5.3 在Python中實現稠密層 98
5.5.4 Python順序神經網路 100
5.5.5 將網路集成到手寫數位分類應用中 102
5.6 小結 103
第6章 為圍棋資料設計神經網路 105
6.1 為神經網路編碼圍棋棋局 107
6.2 生成樹搜索遊戲用作網路訓練資料 109
6.3 使用Keras深度學112
6.3.1 瞭解Keras的設計原理 112
6.3.2 安裝Keras深度學113
6.3.3 熱身運動：在Keras中運行一個熟悉的示例 113
6.3.4 使用Keras中的前饋神經網行動作預測 115
6.4 使用卷積網路分析空間 119
6.4.1 卷積的直觀解釋 119
6.4.2 用Keras構建卷積神經網路 122
6.4.3 用池化層縮減空間 123
6.5 預測圍棋動作概率 124
6.5.1 在最後一層使用softmax啟動函數 125
6.5.2 分類問題的交叉熵損失函數 126
6.6 使用丟棄和線性整流單元構建更深的網路 127
6.6.1 通過丟棄神經元對網行正則化 128
6.6.2 線性整流單元啟動函數 129
6.7 構建更強大的圍棋動作預測網路 130
6.8 小結 133
第7章 從數據中學建深度學人 134
7.1 導入圍棋棋譜 135
7.1.1 SGF檔案格式 136
7.1.2 從KGS下載圍棋棋譜並複盤 136
7.2 為深度學圍棋數據 137
7.2.1 從SGF棋譜中複盤圍棋棋局 138
7.2.2 構建圍棋資料處理器 139
7.2.3 構建可以地載入資料的圍棋資料生成器 146
7.2.4 並行圍棋資料處理和生成器 147
7.3 基於真實棋局資料訓練深度學 148
7.4 構建更逼真的圍棋資料編碼器 152
7.5 使用自我調整梯行的訓練 155
7.5.1 在SGD中採用衰減和動量 155
7.5.2 使用Adagrad優化神經網路 156
7.5.3 使用Adadelta優化自我調整梯度 157
7.6 運行自己的實驗並評估性能 157
7.6.1 測試架構與超參數的指南 158
7.6.2 評估訓練與測試資料的性能指標 159
7.7 小結 160
第8章 實地部署圍棋機器人 162
8.1 用深度神經網路創建動作預測代理 163
8.2 為圍棋機器人提供Web前端 165
8.3 在雲端訓練與部署圍棋機器人 169
8.4 與其他機器人對話：圍棋文本協定 170
8.5 在本地與其他機器人對弈 172
8.5.1 機器人應該何時跳過回合或認輸 172
8.5.2 讓機器人與其他圍棋程行對弈 173
8.6 將圍棋機器人部署到線上圍棋伺服器 178
8.7 小結 182
第9章 通過實踐學化學83
9.1 強化學 184
9.2 經括哪些內容 185
9.3 建立一個有學的代理 188
9.3.1 從某個概率分佈行抽樣 189
9.3.2 剪裁概率分佈 190
9.3.3 初始化一個代理實例 191
9.3.4 在磁片上載入並保存代理 191
9.3.5 實現動作選擇 193
9.4 自我對弈：電腦程行實踐訓練的方式 194
9.4.1 經驗資料的表示 194
9.4.2 模擬棋局 197
9.5 小結 199
第10章 基於策略梯度的強化學00
10.1 如何在隨機棋局中識別更佳的決策 201
10.2 使用梯度下降法修改神經網路的策略 204
10.3 使用自我對行訓練的幾個小技巧 208
10.3.1 評估學展 208
10.3.2 衡量強度的細微差別 209
10.3.3 SGD優化器的微調 210
10.4 小結 213
第11章 基於價值評估方法的強化學14
11.1 使用Q學行遊戲 214
11.2 在Keras中實現Q學18
11.2.1 在Keras中構建雙輸入網路 218
11.2.2 用Keras實現ε貪婪策略 222
11.2.3 訓練一個行動-價值函數 225
11.3 小結 226
第12章 基於演員-評價方法的強化學27
12.1 優勢能夠告訴我們哪些決策更加重要 227
12.1.1 什麼是優勢 228
12.1.2 在自我對弈過程中計算優勢值 230
12.2 為演員-評價學神經網路 232
12.3 用演員-評價代理下棋 234
12.4 用經驗資料訓練一個演員-評價代理 235
12.5 小結 240

第三部分 一加一大於二
第 13章 AlphaGo：全部集結 243
13.1 為AlphaGo訓練深度神經網路 245
13.1.1 AlphaGo的網路架構 246
13.1.2 AlphaGo棋盤編碼器 248
13.1.3 訓練AlphaGo風格的策略網路 250
13.2 用策略網路啟動自我對弈 252
13.3 從自我對弈資料衍生出一個價值網路 254
13.4 用策略網路和價值網路做出更好的搜索 254
13.4.1 用神經網路蒙特卡洛推演 255
13.4.2 用合併價值函行樹搜索 256
13.4.3 實現AlphaGo的搜索演算法 258
13.5 訓練自己的AlphaGo可能遇到的實踐問題 263
13.6 小結 265
第14章 AlphaGo Zero：將強化學到樹搜索中 266
14.1 為樹搜索構建一個神經網路 267
14.2 使用神經網路來指導樹搜索 268
14.2.1 沿搜尋樹下行 271
14.2.2 擴展搜尋樹 274
14.2.3 選擇一個動作 276
14.3 訓練 277
14.4 用狄利克雷雜訊探索 281
14.5 處理超深度神經網路的相關 282
14.5.1 批量歸一化 282
14.5.2 殘差網路 283
14.6 探索額外資源 284
14.7 結語 285
14.8 小結 285

附錄A 數學基礎 286
附錄B 反向傳播演算法 293
附錄C 圍棋程式與圍棋伺服器 297
附錄D 用AWS來訓練和部署圍棋程式與圍棋伺服器 300
附錄E 將機器人發佈到OGS 307