語音辨識：原理與應用

第1章 語音辨識概論 1
1.1 語音的產生和感知 1
1.2 語音辨識過程 4
1.3 語音辨識發展歷史 8
1.4 國內語音辨識現狀 15
1.5 語音辨識建模方法 19
1.5.1 DTW 19
1.5.2 GMM-HMM 20
1.5.3 DNN-HMM 20
1.5.4 端到端 22
1.6 語音辨識開源工具 22
1.7 語音辨識常用資料庫 22
1.8 語音辨識評價指標 24

第2章 語音信號基礎 28
2.1 聲波的特性 28
2.2 聲音的接收裝置 29
2.2.1 麥克風陣列 31
2.3 聲音的採樣 32
2.4 聲音的量化 33
2.5 語音的編碼 35
2.6 WAV檔案格式 38
2.7 WAV檔分析 39

第3章 語音特徵提取 44
3.1 預處理 44
3.2 短時傅立葉轉換 48
3.3 聽覺特性 51
3.4 線性預測 54
3.5 倒譜分析 55
3.6 常用的聲學特徵 56
3.6.1 語譜圖 57
3.6.2 FBank 58
3.6.3 MFCC 59
3.6.4 PLP 61
3.6.5 CQCC 62

第4章 HMM 67
4.1 HMM的基本概念 69
4.1.1 瑪律可夫鏈 70
4.1.2 雙重隨機過程 71
4.1.3 HMM的定義 72
4.2 HMM的三個基本問題 73
4.2.1 模型評估問題 74
4.2.2 最佳路徑問題 77
4.2.3 模型訓練問題 79

第5章 GMM-HMM 83
5.1 概率統計 84
5.2 高斯分佈 85
5.3 GMM 88
5.3.1 初始化 89
5.3.2 重估計 90
5.4 GMM-HMM 91
5.5 GMM-HMM的訓練 97
5.6 模型自我調整 99
5.6.1 MAP 99
5.6.2 MLLR 100
5.6.3 fMLLR 100
5.6.4 SAT 101
課程實踐：基於HTK搭建GMM-HMM系統 103

第6章 基於HMM的語音辨識 104
6.1 建模單元 104
6.2 發音過程與HMM狀態 107
6.3 串接HMM 108
6.4 固定語法的識別 112
6.5 隨機語法的識別 117

第7章 音素的上下文建模 125
7.1 協同發音 125
7.2 上下文建模 126
7.3 決策樹 128
7.4 問題集 129
7.4.1 手工設計 129
7.4.2 自動生成 131
7.5 三音子模型的訓練 134

第8章 語言模型 136
8.1 n-gram模型 138
8.2 評價指標——困惑度 142
8.3 平滑技術 143
8.3.1 Good-Turing折扣法 143
8.3.2 Jelinek-Mercer插值法 144
8.3.3 Kneser-Ney插值法 144
8.3.4 Katz回退法 146
8.4 語言模型的訓練 148
8.5 遞迴神經網路語言模型 151

第9章 WFST解碼器 158
9.1 基於動態網路的Viterbi解碼 159
9.2 WFST理論 163
9.3 HCLG構建 168
9.3.1 H的構建 169
9.3.2 C的構建 171
9.3.3 L的構建 172
9.3.4 G的構建 173
9.3.5 HCLG合併 175
9.4 WFST的Viterbi解碼 177
9.4.1 Token的定義 177
9.4.2 Viterbi演算法 178
9.5 Lattice解碼 185
9.5.1 主要資料結構 185
9.5.2 權杖傳播過程 186
9.5.3 剪枝策略 189
9.5.4 Lattice 190

第10章 DNN-HMM 194
10.1 深度學習 194
10.2 DNN 195
10.2.1 啟動函數 196
10.2.2 損失函數 198
10.2.3 梯度下降演算法 199
10.3 DNN與HMM的結合 201
10.4 不同的DNN結構 205
10.4.1 CNN 205
10.4.2 LSTM 210
10.4.3 GRU 210
10.4.4 TDNN 211
10.4.5 TDNN-F 214

第11章 序列區分性訓練 220
11.1 區分性準則 221
11.1.1 MMI 221
11.1.2 BMMI 222
11.1.3 MPE/sMBR 222
11.2 MMI求導過程 223
11.3 Lattice-based MMI 225
11.4 Lattice-free MMI 227
11.5 Kaldi Chain模型 230

第12章 端到端語音辨識 233
12.1 CTC 234
12.1.1 損失函數 235
12.1.2 前向演算法 239
12.1.3 後向演算法 242
12.1.4 求導過程 243
12.1.5 CTC解碼 245
12.2 RNN-T 248
12.3 Attention模型 251
12.4 Hybrid CTC/Attention 254
12.5 Transformer 256

第13章 Kaldi實踐 262
13.1 下載與安裝Kaldi 263
13.1.1 獲取原始程式碼 263
13.1.2 編譯 264
13.2 創建與配置基本的工程目錄 265
13.3 aishell語音辨識工程 266
13.3.1 資料映射目錄準備 267
13.3.2 詞典準備和lang目錄生成 269
13.3.3 語言模型訓練 271
13.3.4 聲學特徵提取與倒譜均值歸一化 273
13.3.5 聲學模型訓練與強制對齊 274
13.3.6 解碼測試與指標計算 277

第14章 Espnet實踐 280
14.1 數據準備 280
14.1.1 映射文件準備 280
14.1.2 特徵提取 281
14.1.3 資料增強 282
14.1.4 詞典生成 282
14.1.5 數據打包 283
14.2 Espnet設定檔 284
14.3 語言模型訓練 285
14.4 聲學模型訓練 287
14.4.1 聲學模型訓練腳本 287
14.4.2 CTC聲學模型訓練 288
14.4.3 Attention聲學模型訓練 289
14.4.4 RNN-T模型訓練 290
14.4.5 Transformer模型訓練 292
14.5 語音辨識解碼 293
14.6 Espnet訓練解碼視覺化 294
14.6.1 Espnet訓練參數視覺化 294
14.6.2 Espnet中的Attention視覺化 295
14.6.3 Espnet解碼結果視覺化 296

第15章 工業應用實踐 298
15.1 動態庫封裝 298
15.1.1 函數介面 298
15.1.2 動態庫編譯 306
15.1.3 動態庫調用 309
15.2 語音雲平臺 310
15.3 識別引擎優化 315
15.3.1 加快回應速度 315
15.3.2 定制語言模型 316
15.3.3 定制聲學模型 316
15.4 嵌入式移植 318
 

語音辨識技術的發展日新月異，新的理論和方案不斷出現，讀者除了掌握基本原理，也亟須瞭解語音辨識最新的前沿技術，例如加權有限狀態轉換器（WFST）、端到端（E2E）語音辨識等。

作者承擔過大量的語音辨識專案研究和開發工作，有豐富的工業應用經驗。另外，作者從事本科生、研究生的語音辨識教學十多年，從最早的動態時間規整（DTW）、隱瑪律可夫模型（HMM）到最新的E2E語音辨識框架，積累了豐富的教學經驗，深感理論知識講解的困難，特別是語音辨識原理比較複雜，從聲學特徵提取到HMM建模和解碼過程，涉及信號處理、概率模型和神經網路等多個領域知識，要做到淺顯易懂尤為不易，因此作者很希望能編寫一本符合學生掌握能力和教學進度的教材，彌補高校人工智慧等專業語音教材的匱乏，同時也為產業界工程師的語音辨識入門提供經驗參考。

本書圍繞語音辨識的原理和應用講解，理論結合實際，採用大量插圖，輔以實例，力求深入淺出，讓讀者能較快地理解語音辨識的基礎理論和關鍵技術。為幫助讀者動手操作，提高實戰技能，本書最後還結合Kaldi和Espnet等開源工具，介紹了具體的工程實踐方法。本書包含以下章節：

第1章 語音辨識概論，介紹人類語音的產生和感知過程、語音辨識的關鍵技術、發展歷史等。

第2章 語音信號基礎，介紹聲音的採集和量化過程，以及編碼和存儲格式。

第3章 語音特徵提取，介紹語音信號的頻域分析、倒譜分析、聲學特徵提取過程等。

第4章 HMM，介紹雙重隨機過程，以及HMM的三大問題。

第5章 GMM-HMM，介紹高斯混合模型的定義和重估計公式，並結合例子講解GMM如何與HMM結合，以及對應的具體參數形式。

第6章 基於HMM的語音辨識，介紹單音子聲學模型和Viterbi解碼過程。

第7章 音素的上下文建模，介紹雙音子和三音子模型，並基於問題集和決策樹講述三音子的訓練過程。

第8章 語言模型，介紹語言模型訓練過程及在語音辨識中的作用。

第9章 WFST 解碼器，介紹動態和靜態解碼網路，以及WFST、HCLG等關鍵技術。

第10章 DNN-HMM，介紹深度學習在語音辨識中的應用，包括CNN、LSTM、TDNN等網路。

第11章 序列區分性訓練，介紹 MMI/BMMI、MPE/sMBR等準則，以及Lattice-free MMI訓練方法。

第12章 端到端語音辨識，介紹CTC、RNN-T、Attention和Transformer等端到端語音辨識系統。

第13章 Kaldi實踐，首先介紹Kaldi的下載安裝步驟，然後以aishell-1中文資料庫為例，介紹如何訓練和測試模型。

第14章 Espnet實踐，介紹使用Espnet進行目前主流的端到端語音辨識模型的訓練和解碼過程。

第15章 工業應用實踐，介紹如何封裝語音辨識動態庫，如何調用和調優。

本書由洪青陽完成主要章節的編寫，李琳負責第3章的編寫，洪青陽和李琳對全書進行了審校。特別感謝趙淼、李松、張甯、夏仕鵬、劉凱對本書的貢獻，趙淼和李松分別對Kaldi和Espnet的實踐過程做了深入細緻的整理，他們的協助使得本書順利完成。

感謝廈門大學智慧語音實驗室的童峰老師、許彬彬老師和同學們，為本書的創作提供了良好的學術氛圍和精益求精的驅動力。
感謝語音學術和產業界的趙慶衛、王東、余洪湧、李明、張超、謝磊、張衛強、張鵬遠等專家和學者，他們的指導和啟發令本書增色不少。

感謝電子工業出版社的鄭柳潔等老師的大力支持，她們認真細緻的工作保證了本書的品質。

為讀者寫一本精品書是作者的初衷，但由於作者水準有限，書中難免有疏漏和不足之處，懇請讀者批評指正！