圖神經網路：基礎與前沿

第 1 章 當深度學習遇上圖：圖神經網路的興起 1
1.1 什麼是圖1
1.2 深度學習與圖 2
1.2.1 圖數據的特殊性質 3
1.2.2 將深度學習擴展到圖上的挑戰 4
1.3 圖神經網路的發展 5
1.3.1 圖神經網路的歷史 5
1.3.2 圖神經網路的分類 7
1.4 圖神經網路的應用 8
1.4.1 圖資料上的任務 8
1.4.2 圖神經網路的應用領域 8
1.5 小結 11

第 2 章 預備知識 13
2.1 圖的基本概念 13
2.2 簡易圖譜論 15
2.2.1 拉普拉斯矩陣 16
2.2.2 拉普拉斯二次型 17
2.2.3 拉普拉斯矩陣與圖擴散 18
2.2.4 圖論傅裡葉變換 19
2.3 小結 20

第 3 章 圖神經網路模型介紹 21
3.1 基於譜域的圖神經網路 21
3.1.1 譜圖卷積網路 21
3.1.2 切比雪夫網路 24
3.1.3 圖卷積網路 25
3.1.4 譜域圖神經網路的局限和發展 27
3.2 基於空域的圖神經網路 28
3.2.1 早期的圖神經網路與循環圖表神經網路 28
3.2.2 再談圖卷積網路 29
3.2.3 GraphSAGE：歸納式圖表示學習 31
3.2.4 消息傳遞神經網路 34
3.2.5 圖注意力網路 37
3.2.6 圖同構網路：Weisfeiler-Lehman 測試與圖神經網路的表達力 39
3.3 小試牛刀：圖卷積網路實戰 42
3.4 小結 46

第 4 章 深入理解圖卷積網路 47
4.1 圖卷積與拉普拉斯平滑：圖卷積網路的過平滑問題 47
4.2 圖卷積網路與個性化 PageRank 50
4.3 圖卷積網路與低通濾波 52
4.3.1 圖卷積網路的低通濾波效果 52
4.3.2 圖濾波神經網路 54
4.3.3 簡化圖卷積網路 55
4.4 小結 56

第 5 章 圖神經網路模型的擴展 57
5.1 深層圖卷積網路 57
5.1.1 殘差連接 58
5.1.2 JK-Net 60
5.1.3 DropEdge 與 PairNorm 60
5.2 圖的池化 61
5.2.1 聚類與池化 62
5.2.2 可學習的池化：DiffPool 63
5.2.3 Top-k 池化和 SAGPool 65
5.3 圖的無監督學習 67
5.3.1 圖的自編碼器 67
5.3.2 最大互資訊 70
5.3.3 其他 72
5.3.4 圖神經網路的預訓練 72
5.4 圖神經網路的大規模學習 74
5.4.1 點採樣 75
5.4.2 層採樣 76
5.4.3 圖採樣 78
5.5 不規則圖的深度學習模型 80
5.6 小結 81

第 6 章 其他圖嵌入方法 83
6.1 基於矩陣分解的圖嵌入方法 83
6.1.1 拉普拉斯特徵映射 83
6.1.2 圖分解 84
6.2 基於隨機遊走的圖嵌入方法 86
6.2.1 DeepWalk 86
6.2.2 node2vec 87
6.2.3 隨機遊走與矩陣分解的統一 88
6.3 從自編碼器的角度看圖嵌入 88
6.4 小結 89

第 7 章 知識圖譜與異構圖神經網路 91
7.1 知識圖譜的定義和任務 92
7.1.1 知識圖譜 92
7.1.2 知識圖譜嵌入 92
7.2 距離變換模型 94
7.2.1 TransE 模型 94
7.2.2 TransH 模型 95
7.2.3 TransR 模型 96
7.2.4 TransD 模型 97
7.3 語義匹配模型 97
7.3.1 RESCAL 模型 98
7.3.2 DistMult 模型 98
7.3.3 HolE 模型 98
7.3.4 語義匹配能量模型 99
7.3.5 神經張量網路模型 99
7.3.6 ConvE 模型 100
7.4 知識圖譜上的圖神經網路 100
7.4.1 關係圖卷積網路 100
7.4.2 帶權重的圖卷積編碼器 101
7.4.3 知識圖譜與圖注意力模型 102
7.4.4 圖神經網路與傳統知識圖譜嵌入的結合：CompGCN 103
7.5 小結 103

第 8 章 圖神經網路模型的應用 105
8.1 圖資料上的一般任務 105
8.1.1 節點分類 106
8.1.2 鏈路預測 106
8.1.3 圖分類 107
8.2 生化醫療相關的應用 108
8.2.1 預測分子的化學性質和化學反應 108
8.2.2 圖生成模型與藥物發現 109
8.2.3 藥物/蛋白質交互圖的利用 116
8.3 自然語言處理相關的應用 117
8.4 推薦系統上的應用 121
8.5 電腦視覺相關的應用 123
8.6 其他應用 124
8.7 小結 124
參考文獻 127