內容簡介

本書介紹了元學習方法的發展歷史、起源、思想、近來流行的元學習方法，以及這些方法的組織思路、改進方案、相互繼承、如何應用。

本書共11章，分為兩部分：元學習方法思想的介紹和元學習應用場景中模型的介紹。這些內容介紹了如何在元學習框架下融入強化學習、模仿學習、線上學習、無監督學習、遷移學習等，實現對實際應用中深度模型的改進，以適應複雜多變的實際任務。

作者介紹

彭慧民
2012年畢業於清華大學水利水電工程系，獲工程學學士、經濟學學士雙學位；2017年畢業於美國北卡羅萊納州立大學統計系，獲統計學博士學位，研究方向是高維資料和因果推斷；2019年完成在清華大學金融系的博士後工作，研究方向是公募基金業績評價。之後在浪潮（北京）電子資訊產業有限公司做國家重點實驗室研究員，從事機器學習的研究工作。

前言 1
目錄 3
1 元學習介紹 8
1.1 研究背景 13
1.1.1 元學習與深度學習的區別和聯繫 15
1.1.2 元學習應用舉例 19
1.2 元學習起源 21
1.2.1 1987年的Jürgen Schmidhuber 21
1.2.2 1990年的Stuart Russell和Eric H. Wefald 24
1.3 近期發展 25
1.3.1 1997年長短期記憶網路LSTM 26
1.3.2 2001年LSTM元學習系統 27
1.3.3 2017年MAML演算法 28
1.3.4 2019年基於LSTM的元學習器 28
1.3.5 2019年基於高效基礎學習器的元學習 29
1.4 參考文獻和擴展閱讀 30

2 元學習框架 32
2.1 元學習研究常用資料集 33
2.2 定義任務 36
2.2.1 元學習任務的定義 37
2.2.2 元強化學習任務的定義 38
2.2.3 任務分解 39
2.3 元學習訓練框架 40
2.4 元學習方法分類 42
2.4.1 神經網路適應法 42
2.4.2 度量學習適應法 43
2.4.3 基礎學習器和元學習器適應法 44
2.4.4 貝葉斯元學習適應法 44
2.4.5 元學習與其他學習框架結合 45
2.5 元學習方法比較 46
2.6 參考文獻和擴展閱讀 48

3 元學習神經網路方法 49
3.1 神經網路 51
3.1.1 神經元 51
3.1.2 權重、偏差和啟動函數 52
3.1.3 網路反向傳播演算法 54
3.1.4 學習率、批尺寸、動量和權值衰減 56
3.1.5 神經網路模型的正則化 58
3.1.6 批歸一化 59
3.1.7 隨機失活 61
3.2 卷積神經網路 62
3.2.1 卷積層和濾波器 62
3.2.2 池化層和下採樣層 64
3.2.3 全連接層和上採樣層 66
3.2.4 經典卷積神經網路 67
3.3 殘差網路 69
3.3.1 殘差網路模組 69
3.3.2 高速路神經網路 70
3.3.3 寬殘差網路 70
3.4 元學習神經網路模型 71
3.4.1 學會學習的神經網路學習器 72
3.4.2 預訓練深度神經網路的適應 73
3.4.3 具有適應性的神經元設計 75
3.5 自動化機器學習 80
3.5.1 超參數優化 80
3.5.2 元學習和自動化機器學習 81
3.5.3 加速自動化機器學習 84
3.5.4 決策式自動化機器學習 88
3.5.5 漸進式自動化機器學習 90
3.6 總結 95
3.7 參考文獻和擴展閱讀 95

4 基於度量的元學習方法 98
4.1 基於度量的學習 99
4.1.1 度量的定義 100
4.1.2 度量學習的應用 102
4.1.3 有監督度量學習 103
4.1.4 半監督度量學習 106
4.1.5 無監督度量學習 108
4.2 注意力模型 108
4.3 記憶模組 109
4.4 SNAIL演算法 113
4.5 Relation Network演算法 115
4.6 Prototypical Network演算法 118
4.7 TADAM演算法 120
4.8 Dynamic Few-Shot演算法 123
4.9 mAP演算法 128
4.10 總結 132
4.11 參考文獻和擴展閱讀 133

5 基礎學習器和元學習器結合的元學習 134
5.1 基礎學習器 137
5.2 元學習器 138
5.3 MAML演算法 139
5.4 Reptile演算法 145
5.5 Recurrent Neural Network 149
5.5.1 RNN基礎結構 149
5.5.2 Bidirectional RNN 152
5.5.3 Long Short-Term Memory 153
5.5.4 Gated Recurrent Unit 156
5.6 RNN元學習演算法 158
5.7 Meta-LSTM演算法 160
5.8 R2D2演算法 164
5.9 LR2D2演算法 167
5.10 MetaOptNet演算法 170
5.11 Transductive Propagation Network演算法 173
5.12 Latent Embedding Optimization演算法 178
5.13 參考文獻和擴展閱讀 182

6 貝葉斯思想下的元學習方法 184
6.1 Bayesian Program Learning演算法 186
6.2 Neural Statistician演算法 189
6.3 LLAMA演算法 192
6.4 BMAML演算法 197
6.5 PLATIPUS演算法 202
6.6 VERSA演算法 204
6.7 參考文獻和擴展閱讀 207

7 元學習的應用場景 208
7.1 元遷移學習 211
7.2 元強化學習 212
7.3 元模仿學習 213
7.4 線上元學習 213
7.5 無監督元學習 214
7.6 參考文獻和擴展閱讀 215

8 元強化學習 216
8.1 強化學習 216
8.2 基於MAML的元強化學習 218
8.3 GrBAL演算法 219
8.4 參考文獻和擴展閱讀 222

9 元模仿學習 223
9.1 模仿學習 223
9.2 MAML演算法用於元模仿學習 225
9.3 MetaMimic演算法 226
9.4 參考文獻和擴展閱讀 229

10 線上元學習 229
10.1 線上學習 229
10.2 FTML演算法 231
10.3 參考文獻和擴展閱讀 233
11 無監督元學習 233
11.1 無監督學習 233
11.2 CACTUs演算法 235
11.3 參考文獻和擴展閱讀 236

看更多