深度學習、優化與識別

第1章 深度學習基礎
1.1 數學基礎
1.1.1 矩陣論
1.1.2 概率論
1.1.3 優化分析
1.1.4 框架分析
1.2 稀疏表示
1.2.1 稀疏表示初步
1.2.2 稀疏模型
1.2.3 稀疏認知學習、計算與識別的范式
1.3 機器學習與神經網絡
1.3.1 機器學習
1.3.2 神經網絡
參考文獻

第2章 深度前饋神經網絡
2.1 神經元的生物機理
2.1.1 生物機理
2.1.2 單隱層前饋神經網絡
2.2 多隱層前饋神經網絡
2.3 反向傳播算法
2.4 深度前饋神經網絡的學習范式
參考文獻

第3章 深度卷積神經網絡
3.1 卷積神經網絡的生物機理及數學刻畫
3.1.1 生物機理
3.1.2 卷積流的數學刻畫
3.2 深度卷積神經網絡
3.2.1 典型網絡模型與框架
3.2.2 學習算法及訓練策略
3.2.3 模型的優缺點分析
3.3 深度反卷積神經網絡
3.3.1 卷積稀疏編碼
3.3.2 深度反卷積神經網絡
3.3.3 網絡模型的性能分析與應用舉例
3.4 全卷積神經網絡
3.4.1 網絡模型的數學刻畫
3.4.2 網絡模型的性能分析及應用舉例
參考文獻

第4章 深度堆棧自編碼網絡
4.1 自編碼網絡
4.1.1 逐層學習策略
4.1.2 自編碼網絡
4.1.3 自編碼網絡的常見范式
4.2 深度堆棧網絡
4.3 深度置信網絡/深度玻爾茲曼機網絡
4.3.1 玻爾茲曼機/受限玻爾茲曼機
4.3.2 深度玻爾茲曼機/深度置信網絡
參考文獻

第5章 稀疏深度神經網絡
5.1 稀疏性的生物機理
5.1.1 生物視覺機理
5.1.2 稀疏性響應與數學物理描述
5.2 稀疏深度網絡模型及基本性質
5.2.1 數據的稀疏性
5.2.2 稀疏正則
5.2.3 稀疏連接
5.2.4 稀疏分類器設計
5.2.5 深度學習中關於稀疏的技巧與策略
5.3 網絡模型的性能分析
5.3.1 稀疏性對深度學習的影響
5.3.2 對比實驗及結果分析
參考文獻

第6章 深度融合網絡
6.1 深度SVM網絡
6.1.1 從神經網絡到SVM
6.1.2 網絡模型的結構
6.1.3 訓練技巧
6.2 深度PCA網絡
6.3 深度ADMM網絡
6.4 深度極限學習機
6.4.1 極限學習機
6.4.2 深度極限學習機
6.5 深度多尺度幾何網絡
6.5.1 深度脊波網絡
6.5.2 深度輪廓波網絡
6.6 深度森林
6.6.1 多分辨特性融合
6.6.2 級聯特征深度處理
參考文獻

第7章 深度生成網絡
7.1 生成式對抗網絡的基本原理
7.1.1 網絡模型的動機
7.1.2 網絡模型的數學物理描述
7.2 深度卷積對抗生成網絡
7.2.1 網絡模型的基本結構
7.2.2 網絡模型的性能分析
7.2.3 網絡模型的典型應用
7.3 深度生成網絡模型的新范式
7.3.1 生成式對抗網絡的新范式
7.3.2 網絡框架的性能分析與改進
7.4 應用驅動下的兩種新生成式對抗網絡
7.4.1 堆棧生成式對抗網絡
7.4.2 對偶學習范式下的生成式對抗網絡
7.5 變分自編碼器
參考文獻

第8章 深度復卷積神經網絡與深度二值神經網絡
8.1 深度復卷積神經網絡
8.1.1 網絡模型構造的動機
8.1.2 網絡模型的數學物理描述
8.2 深度二值神經網絡
8.2.1 網絡基本結構
8.2.2 網絡的數學物理描述
8.2.3 討論
參考文獻

第9章 深度循環和遞歸神經網絡
9.1 深度循環神經網絡
9.1.1 循環神經網絡的生物機理
9.1.2 簡單的循環神經網絡
9.1.3 深度循環神經網絡的數學物理描述
9.2 深度遞歸神經網絡
9.2.1 簡單的遞歸神經網絡
9.2.2 深度遞歸神經網絡的優勢
9.3 長短時記憶神經網絡
9.3.1 改進動機分析
9.3.2 長短時記憶神經網絡的數學分析
9.4 典型應用
9.4.1 深度循環神經網絡的應用舉例
9.4.2 深度遞歸神經網絡的應用舉例
參考文獻

第10章 深度強化學習
10.1 深度強化學習基礎
10.1.1 深度強化學習的基本思路
10.1.2 發展歷程
10.1.3 應用的新方向
10.2 深度Q網絡
10.2.1 網絡基本模型與框架
10.2.2 深度Q網絡的數學分析
10.3 應用舉例—AlphaGo
10.3.1 AlphaGo原理分析
10.3.2 深度強化學習性能分析
參考文獻

第11章 深度學習軟件仿真平台及開發環境
11.1 Caffe平台
11.1.1 Caffe平台開發環境
11.1.2 AlexNet神經網絡學習
11.1.3 AlexNet神經網絡應用於圖像分類
11.2 TensorFlow平台
11.2.1 TensorFlow平台開發環境
11.2.2 深度卷積生成式對抗網DCGAN
11.2.3 DAN應用於樣本擴充
11.3 MXNet平台
11.3.1 MXNet平台開發環境
11.3.2 VGG-NET深度神經網絡學習
11.3.3 圖像分類應用任務
11.4 Torch 7平台
11.4.1 Torch 7平台開發環境
11.4.2 二值神經網絡
11.4.3 二值神經網絡應用於圖像分類
11.5 Theano平台
11.5.1 Theano平台開發環境
11.5.2 遞歸神經網絡
11.5.3 LSTM應用於情感分類任務
參考文獻

第12章 基於深度神經網絡的SAR/PolSAR影像地物分類
12.1 數據集及研究目的
12.1.1 數據集特性分析
12.1.2 基本數據集
12.1.3 研究目的
12.2 基於深度神經網絡的SAR影像地物分類
12.2.1 基於自適應自編碼和超像素的SAR圖像分類
12.2.2 基於卷積中層特征學習的SAR圖像分類
12.3 基於第一代深度神經網絡的PolSAR影像地物分類
12.3.1 基於稀疏極化DBN的極化SAR地物分類
12.3.2 基於深度PCA網絡的極化SAR影像地物分類
12.4 基於第二代深度神經網絡的PolSAR影像地物分類
12.4.1 基於深度復卷積網絡的極化PolSAR影像地物分類
12.4.2基於生成式對抗網的極化PolSAR影像地物分類
12.4.3基於深度殘差網絡的極化PolSAR影像地物分類
參考文獻

第13章 基於深度神經網絡的SAR影像變化檢測
13.1 數據集特點及研究目的
13.1.1 研究目的
13.1.2 數據基本特性
13.1.3 典型數據集
13.2 基於深度學習和SIFT特征的SAR圖像變化檢測
13.2.1 基本方法與實現策略
13.2.2 對比實驗結果分析
13.3基於SAE的SAR圖像變化檢測
13.3.1 基本方法與實現策略
13.3.2 對比實驗結果分析
13.4基於CNN的SAR圖像變化檢測
13.4.1基本方法與實現策略
13.4.2對比實驗結果分析
參考文獻

第14章 基於深度神經網絡的高光譜圖像分類與壓縮
14.1 數據集及研究目的
14.1.1 高光譜遙感技術
14.1.2 高光譜遙感的研究目的
14.1.3 常用的高光譜數據集
14.2 基於深度神經網絡的高光譜影像的分類
14.2.1 基於堆棧自編碼的高光譜影像的分類
14.2.2 基於卷積神經網絡的高光譜影像的分類
14.3基於深度神經網絡的高光譜影像的壓縮
14.3.1 基於深度自編碼網絡的高光譜圖像壓縮方法
14.3.2 實驗設計及分類結果
參考文獻

第15章 基於深度神經網絡的目標檢測與識別
15.1 數據特性及研究目的
15.1.1 研究目的
15.1.2 常用數據集
15.2 基於快速CNN的目標檢測與識別
15.2.1 R-CNN
15.2.2 Fast R-CNN
15.2.3 Faster R-CNN
15.2.4 對比實驗結果與分析
15.3 基於回歸學習的目標檢測與識別
15.3.1 YOLO
15.3.2 SSD
15.3.3 對比實驗結果分析
15.4 基於學習搜索的目標檢測與識別
15.4.1 基於深度學習的主動目標定位
15.4.2 AttentionNet
15.4.3 對比實驗結果分析
參考文獻

第16章 總結與展望
16.1 深度學習發展歷史圖
16.1.1 從機器學習、稀疏表示學習到深度學習
16.1.2 深度學習、計算與認知的范式演進
16.1.3 深度學習形成脈絡
16.2 深度學習的典型應用
16.2.1 目標檢測與識別
16.2.2 超分辨
16.2.3 自然語言處理
16.3 深度神經網絡的可塑性
16.3.1 旋轉不變性
16.3.2 平移不變性
16.3.3 多尺度、多分辨和多通路特性
16.3.4 稀疏性
16.4 基於腦啟發式的深度學習前沿方向
16.4.1 生物神經領域關於認知、識別、注意等的最新研究進展
16.4.2 深度神經網絡的進一步研究方向
16.4.3 深度學習的可拓展性

參考文獻
附錄A 基於深度學習的常見任務處理介紹
附錄B 代碼介紹