人工智能技術叢書：遷移學習

推薦序
譯者序
前 言

第一部分 遷移學習的基礎

第1章 緒論/2
1.1 人工智慧、機器學習以及遷移學習/2
1.2 遷移學習：定義/6
1.3 與已有機器學習範式的關係/9
1.4 遷移學習的基礎研究問題/11
1.5 遷移學習應用/11
1.5.1 圖像理解/11
1.5.2 生物資訊學和生物成像/12
1.5.3 推薦系統和協同過濾/12
1.5.4 機器人和汽車自動駕駛/13
1.5.5 自然語言處理和文本挖掘/13
1.6 歷史筆記/14
1.7 關於本書/15

第2章 基於樣本的遷移學習/19
2.1 引言/19
2.2 基於樣本的非歸納式遷移學習/20
2.2.1 判別區分來源資料和目標資料/22
2.2.2 核平均匹配/23
2.2.3 函數估計/23
2.3 基於樣本的歸納式遷移學習/24
2.3.1 集成源損失與目標損失/24
2.3.2 Boosting風格的方法/26
2.3.3 樣本生成方法/27

第3章 基於特徵的遷移學習/29
3.1 引言/29
3.2 最小化域間差異/30
3.2.1 *均值差異/30
3.2.2 基於Bregman散度的正則化/34
3.2.3 使用特定分佈假設的度量/34
3.2.4 資料依賴的域差異度量/35
3.3 學習通用特徵/36
3.3.1 學習通用編碼/36
3.3.2 深度通用特徵/37
3.4 特徵增強/38

第4章 基於模型的遷移學習/40
4.1 引言/40
4.2 基於共用模型成分的遷移學習/42
4.2.1 利用高斯過程的遷移學習/42
4.2.2 利用貝葉斯模型的知識遷移/43
4.2.3 利用深度模型的模型遷移/44
4.2.4 其他方法/45
4.3 基於正則化的遷移/45
4.3.1 基於支援向量機的正則化/46
4.3.2 基於多核學習的遷移學習/47
4.3.3 深度模型中的微調方法/48

第5章 基於關係的遷移學習/52
5.1 引言/52
5.2 瑪律可夫邏輯網路/54
5.3 利用瑪律可夫網路的基於關係的遷移學習/55
5.3.1 通過一階邏輯的淺層遷移/55
5.3.2 通過二階邏輯的深度遷移/57
5.3.3 通過結構類比的遷移學習/59

第6章 異構遷移學習/61
6.1 引言/61
6.2 異構遷移學習問題/63
6.3 方法/63
6.3.1 異構特徵空間/64
6.3.2 異構標籤空間/78
6.4 應用/79

第7章 對抗式遷移學習/82
7.1 引言/82
7.2 生成對抗網路/83
7.3 採用對抗式模型的遷移學習/86
7.3.1 生成目標域資料/87
7.3.2 通過對抗式學習來學習域不變特徵/89
7.4 討論/91

第8章 強化學習中的遷移學習/92
8.1 引言/92
8.2 背景/93
8.2.1 強化學習/94
8.2.2 強化學習任務中的遷移學習/95
8.2.3 遷移學習在強化學習中的目標/96
8.2.4 遷移強化學習分類/98
8.3 任務間遷移學習/99
8.3.1 基於樣本的遷移/99
8.3.2 基於特徵的遷移/100
8.3.3 基於模型的遷移/103
8.3.4 解決“遷移時機”問題/105
8.4 域間遷移學習/105
8.4.1 基於樣本的遷移/106
8.4.2 基於特徵的遷移/107
8.4.3 基於模型的遷移/108

第9章 多工學習/109
9.1 引言/109
9.2 定義/111
9.3 多工監督學習/111
9.3.1 基於特徵的多工監督學習/112
9.3.2 基於模型的多工監督學習/114
9.3.3 基於樣本的多工監督學習/120
9.4 多工無監督學習/120
9.5 多工半監督學習/120
9.6 多工主動學習/121
9.7 多工強化學習/121
9.8 多工線上學習/121
9.9 多工多視圖學習/122
9.10 並行與分散式多工學習/122

第10章 遷移學習理論/123
10.1 引言/123
10.2 多工學習的泛化界/124
10.3 監督遷移學習的泛化界/127
10.4 無監督遷移學習的泛化界/129

第11章 傳導式遷移學習/131
11.1 引言/131
11.2 混合圖上的傳導式遷移學習/133
11.2.1 問題定義/134
11.2.2 混合遷移演算法/135
11.3 基於隱性特徵表示的傳導式遷移學習/137
11.3.1 問題定義/137
11.3.2 耦合的矩陣三因數分解演算法/138
11.4 基於深度神經網路的傳導式遷移學習/141
11.4.1 問題定義/141
11.4.2 選擇學習演算法/142

第12章 自動遷移學習：學習如何自動遷移/146
12.1 引言/146
12.2 L2T框架/147
12.3 參數化“遷移什麼”/148
12.3.1 基於公共隱空間的演算法/149
12.3.2 基於流形集成的演算法/149
12.4 從經驗中學習/149
12.4.1 源域和目標域之間的差異/149
12.4.2 目標域判別能力/151
12.4.3 優化問題/151
12.5 推斷“遷移什麼”/151
12.6 與其他學習範式的聯繫/152
12.6.1 遷移學習/152
12.6.2 多工學習/153
12.6.3 終身機器學習/153
12.6.4 自動化機器學習/153

第13章 小樣本學習/155
13.1 引言/155
13.2 零樣本學習/156
13.2.1 概述/156
13.2.2 零樣本學習演算法/157
13.3 單樣本學習/161
13.3.1 概述/161
13.3.2 單樣本學習演算法/161
13.4 貝葉斯規劃學習/163
13.4.1 概述/163
13.4.2 用於識別字元筆劃的貝葉斯規劃學習/163
13.5 短缺資源學習/166
13.5.1 概述/166
13.5.2 機器翻譯/166
13.6 域泛化/168
13.6.1 概述/168
13.6.2 偏差SVM/169
13.6.3 多工自動編碼器/169

第14章 終身機器學習/171
14.1 引言/171
14.2 終身機器學習：定義/172
14.3 通過不變的知識進行終身機器學習/173
14.4 情感分類中的終身機器學習/174
14.5 共用模型元件用於多工學習/177
14.6 永無止境的語言學習/178

第二部分 遷移學習的應用

第15章 隱私保護的遷移學習/184
15.1 引言/184
15.2 差分隱私/185
15.2.1 定義/185
15.2.2 隱私保護的正則化經驗風險最小化/186
15.3 隱私保護的遷移學習/188
15.3.1 問題設置/188
15.3.2 目標提升/188
15.3.3 多方學習/191
15.3.4 多工學習/193

第16章 電腦視覺中的遷移學習/194
16.1 引言/194
16.2 概述/195
16.2.1 淺層遷移學習模型/195
16.2.2 深度遷移學習模型/199
16.2.3 遷移學習用於其他視覺任務/200
16.3 遷移學習用於醫學圖像分析/201
16.3.1 醫學圖像分類/201
16.3.2 醫學圖像異常檢測/203
16.3.3 醫學圖像分割/204

第17章 自然語言處理中的遷移學習/205
17.1 引言/205
17.2 NLP中的遷移學習/205
17.2.1 問題設置/206
17.2.2 NLP應用中的參數初始化/206
17.2.3 NLP應用中的多工學習/207
17.3 情感分析中的遷移學習/212
17.3.1 問題定義和符號/214
17.3.2 淺模型/214
17.3.3 基於深度學習的方法/217

第18章 對話系統中的遷移學習/226
18.1 引言/226
18.2 問題形式化定義/228
18.3 口語理解中的遷移學習/228
18.3.1 問題定義/229
18.3.2 模型適配/229
18.3.3 基於樣本的遷移/229
18.3.4 參數遷移/230
18.4 對話狀態跟蹤中的遷移學習/231
18.4.1 基於特徵的多領域對話狀態跟蹤/231
18.4.2 基於模型的多領域對話狀態跟蹤/231
18.5 對話策略學習中的遷移學習/232
18.5.1 針對Q學習的遷移線性模型/233
18.5.2 針對Q學習的遷移高斯過程/233
18.5.3 針對Q學習的遷移貝葉斯委員會機器/235
18.6 自然語言生成中的遷移學習/236
18.6.1 自然語言生成中的模型微調/237
18.6.2 自然語言生成中的課程學習/237
18.6.3 自然語言生成中的樣本合成/237
18.7 端到端對話系統中的遷移學習/238
18.7.1 完全參數微調/239
18.7.2 部分參數共用/239

第19章 推薦系統中的遷移學習/247
19.1 引言/247
19.2 在推薦中遷移什麼/248
19.2.1 推薦系統中基於樣本的遷移學習方法/248
19.2.2 推薦系統中基於特徵的遷移學習方法/249
19.2.3 推薦系統中基於模型的遷移學習方法/251
19.3 新聞推薦/252
19.3.1 問題定義/253
19.3.2 挑戰和解決方案/254
19.3.3 解決方案：基於鄰域的遷移學習/254
19.4 社交網路中的VIP推薦/255
19.4.1 問題定義/256
19.4.2 挑戰和解決方案/257
19.4.3 解決方案：基於社交關係的遷移/258

第20章 生物資訊學中的遷移學習/260
20.1 引言/260
20.2 生物資訊學中的機器學習問題/261
20.3 生物序列分析/262
20.4 基因表達分析和遺傳分析/265
20.5 系統生物學/266
20.6 生物醫學文本和圖像挖掘/268
20.7 基於深度學習的生物資訊學/268
20.7.1 深度神經追蹤/268
20.7.2 生物資訊學中的深度遷移學習/272

第21章 行為識別中的遷移學習/273
21.1 引言/273
21.2 針對無線定位的遷移學習/273
21.2.1 依賴於環境的資料稀疏性挑戰/274
21.2.2 基於特徵的遷移學習用於定位/276
21.2.3 基於樣本的遷移學習用於定位/278
21.2.4 基於模型的遷移學習用於定位/280
21.3 針對行為識別的遷移學習/282
21.3.1 背景/282
21.3.2 問題設置/284
21.3.3 跨特徵空間的遷移/285
21.3.4 跨標籤空間的遷移/287

第22章 城市計算中的遷移學習/289
22.1 引言/289
22.2 城市計算中的“遷移什麼”/290
22.3 城市計算中遷移學習的關鍵問題/291
22.4 連鎖店推薦/292
22.4.1 問題設置/292
22.4.2 CityTransfer模型/293
22.5 空氣品質預測/295
22.5.1 問題設置/295
22.5.2 FLORAL模型/296

第23章 結束語/297
參考文獻/299
名詞中英文對照/341