智能汽車環境感知技術

第1章 緒論001
1.1 汽車的智能化002
1.1.1 智能汽車002
1.1.2 智能網聯汽車002
1.1.3 無人駕駛汽車003
1.2 環境感知技術的重要性004
1.3 國內外研究現狀006
1.3.1 基於圖像的環境感知技術006
1.3.2 基於點雲的環境感知技術010
1.3.3 基於多感測器融合的環境感知技術012
1.3.4 基於多工網路的環境感知技術013

第2章 智慧汽車感知系統及感測器標定方法015
2.1 感知系統介紹016
2.1.1 感知系統架構016
2.1.2 感測器介紹017
2.2 單目相機標定019
2.2.1 相機成像模型019
2.2.2 相機內參標定022
2.3 相機和雷射雷達聯合標定025
2.3.1 相機坐標系和雷射雷達坐標系的轉換模型025
2.3.2 外參的聯合標定026
本章小結031

第3章 基於單目視覺的環境感知技術033
3.1 深度學習理論及相關方法介紹034
3.1.1 注意力機制034
3.1.2 注意力機制的計算034
3.1.3 自注意力機制035
3.2 VisionTransformer037
3.3 SwinDeformableTransformer-BiPAFPN-YOLOX目標檢測算法041
3.3.1 DarkNet53-PAFPN-YOLOX目標檢測算法041
3.3.2 SwinDeformableTransformer-BiPAFPN-YOLOX目標檢測算法整體結構045
3.3.3 重建可變形自注意力機制046
3.3.4 骨幹絡：SwinDeformableTransformer048
3.3.5 頸部：BiPAFPN051
3.4 實驗與分析053
3.4.1 實驗平臺搭建053
3.4.2 數據集053
3.4.3 評價標準053
3.4.4 訓練策略055
3.4.5 實驗數據統計與分析055
3.5 實車實驗062
3.5.1 實驗設備介紹062
3.5.2 即時檢測064
本章小結067

第4章 基於MobileNetv2_CA-YOLOv4的環境感知技術069
4.1 MobileNetv2_CA-YOLOv4的輕量化目標檢測算法070
4.1.1 深度可分離卷積070
4.1.2 網路結構的構建071
4.1.3 注意力機制及對比074
4.1.4 協調注意力機制CoordinateAttention（CA）的嵌入075
4.1.5 構造網路損失函數078
4.1.6 馬賽克圖像增強方法079
4.2 MobileNetv2_CA-YOLOv4目標檢測算法的實驗與分析080
4.2.1 實驗平臺080
4.2.2 數據集介紹081
4.2.3 模型訓練081
4.2.4 評價指標082
4.2.5 實驗結果分析082
4.2.6 目標檢測結果對比086
本章小結089

第5章 基於MCDVformer的多工環境感知技術091
5.1 多工主幹MCDVformer介紹092
5.1.1 整體結構092
5.1.2 移位元視窗自注意力機制092
5.1.3 重建可變形自注意力機制093
5.1.4 關鍵點可變形自/交叉注意力機制094
5.1.5 SwinDeformableEncoder-Decoder095
5.1.6 密集殘差連接097
5.2 目標檢測實驗098
5.2.1 數據集與評價標準098
5.2.2 訓練策略098
5.2.3 定量實驗分析099
5.2.4 定性實驗分析100
5.3 實例分割實驗101
5.3.1 數據集、訓練策略與評價指標101
5.3.2 定量實驗分析101
5.3.3 定性實驗分析103
5.4 目標分類實驗103
5.4.1 數據集以及評價指標103
5.4.2 訓練策略104
5.4.3 定量實驗分析104
5.5 語義分割實驗106
5.5.1 數據集與評價指標106
5.5.2 訓練策略106
5.5.3 定量實驗分析106
5.5.4 定性實驗分析108
5.6 消融實驗109
5.7 實車實驗113
5.7.1 目標檢測實車實驗113
5.7.2 實例分割實車實驗115
5.7.3 語義分割實車實驗117
本章小結118

第6章 基於點雲數據增強的環境感知技術119
6.1 點雲密度和語義增強框架與流程120
6.1.1 點雲密度增強121
6.1.2 點雲語義增強122
6.2 點雲和圖像之間的座標轉換124
6.3 數據集和檢測器細節125
6.4 實驗和結果分析126
6.4.1 nuScenes數據集的評價指標126
6.4.2 nuScenes數據集上的實驗結果127
6.4.3 KITTI數據集上的實驗結果127
6.5 消融實驗128
6.5.1 點雲密度增強的有效性驗證129
6.5.2 點雲語義增強的有效性驗證131
6.5.3 D-SAugmentation整體性能的有效性驗證132
本章小結134

第7章 基於兩階段序列融合的環境感知技術135
7.1 多模態感測器數據融合方法及概念136
7.2 兩階段序列融合網路137
7.3 最近群組關聯的點雲語義增強137
7.3.1 點雲語義增強模組138
7.3.2 最近群組關聯138
7.4 基於置信度和距離的非極大值抑制141
7.4.1 基於置信度的非極大值抑制141
7.4.2 級聯距離與置信度的非極大值抑制141
7.5 實驗結果及分析143
7.5.1 數據集介紹143
7.5.2 二維檢測器的配置143
7.5.3 三維檢測器的配置144
7.5.4 融合模組的配置144
7.5.5 檢測結果及對比145
7.6 消融實驗146
7.6.1 NGP模組的有效性146
7.6.2 C-DNMS模組的有效性147
7.6.3 TSF整體網路的有效性149
本章小結150

第8章 基於多模態融合的環境感知技術151
8.1 多模態融合環境感知算法問題描述152
8.2 MFF-Net總體框架153
8.2.1 空間變換投影（STP）154
8.2.2 自我調整表達增強（AEE）融合155
8.2.3 自我調整非極大值抑制（A-NMS）算法157
8.3 實驗設置158
8.3.1 實驗環境158
8.3.2 網路細節159
8.3.3 KITTI數據集評價指標159
8.3.4 網路訓練參數159
8.4 實驗結果和分析160
8.4.1 KITTI測試結果與分析160
8.4.2 nuScenes測試結果與分析162
8.5 消融實驗162
8.5.1 定量實驗分析163
8.5.2 定性實驗分析164
本章小結167

參考文獻168