自然語言處理基礎教程

前言
第1章 自然語言處理概述1
1.1 自然語言處理的基本概念1
1.1.1 什麼是自然語言處理1
1.1.2 自然語言處理的層次2
1.1.3 自然語言處理的發展歷程3
1.2 自然語言處理技術面臨的困難6
1.2.1 歧義6
1.2.2 知識的獲取、表達及運用7
1.2.3 計算問題8
1.3 自然語言處理的主要研究任務和應用8
1.3.1 自然語言處理的主要研究任務8
1.3.2 自然語言處理的典型應用10
1.4 搭建自然語言處理開發環境11
1.4.1 Anaconda11
1.4.2 scikit-learn15
1.4.3 Jupyter tebook15
1.5 本章小結16
1.6 習題17

第2章 詞法分析18
2.1 什麼是詞法分析18
2.2 分詞19
2.2.1 中文分詞簡介19
2.2.2 基於詞典的分詞方法20
2.2.3 基於統計的分詞方法21
2.2.4 實例—使用N-gram語言模型進行語法糾正24
2.2.5 中文分詞工具簡介27
2.2.6 實例—使用jieba進行高頻詞提取30
2.3 關鍵字提取32
2.3.1 TF-IDF演算法32
2.3.2 TetRank演算法33
2.3.3 實例—提取文本關鍵字34
2.4 詞性標注40
2.4.1 詞性標注簡介40
2.4.2 隱瑪律可夫模型41
2.4.3 Viterbi演算法43
2.4.4 大熵模型44
2.5 命名實體識別46
2.5.1 命名實體識別簡介46
2.5.2 條件隨機場模型47
2.5.3 實例—使用jieba進行日期識別48
2.6 本章小結52
2.7 習題53

第3章 句法分析54
3.1 什麼是句法分析54
3.2 句法分析樹庫及性能評測56
3.2.1 句法分析語料庫56
3.2.2 句法分析模型的性能評測59
3.3 概率上下文無關文法59
3.4 依存句法分析62
3.4.1 基於圖模型的依存句法分析63
3.4.2 基於轉移模型的依存句法分析63
3.5 中文句法分析工具簡介65
3.6 實例—中文句法分析66
3.7 本章小結68
3.8 習題68

第4章 基於機器學習的文本分類69
4.1 機器學習簡介69
4.1.1 scikit-learn簡介71
4.1.2 機器學習基本概念72
4.1.3 機器學習問題分類73
4.2 樸素貝葉斯分類器76
4.3 邏輯回歸分類器80
4.4 支援向量機分類器84
4.5 文本聚類89
4.6 實例—垃圾郵件分類94
4.7 本章小結99
4.8 習題99

第5章 深度學習與神經網路101
5.1 深度學習與神經網路簡介101
5.2 人工神經網路102
5.2.1 生物神經元102
5.2.2 感知器103
5.2.3 啟動函數105
5.2.4 神經網路110
5.3 前饋神經網路110
5.3.1 前饋神經網路的結構110
5.3.2 前向傳播111
5.3.3 損失函數112
5.3.4 反向傳播演算法113
5.3.5 優化方法114
5.4 深度學習框架116
5.4.1 TensorFlow116
5.4.2 Keras118
5.4.3 PyTorch119
5.4.4 PaddlePaddle120
5.5 實例—使用MLP實現手寫數位識別122
5.5.1 數據準備122
5.5.2 創建MLP122
5.5.3 模型訓練123
5.5.4 模型評價124
5.6 本章小結125
5.7 習題126

第6章 詞嵌入與詞向量127
6.1 文本向量化127
6.2 One-Hot編碼128
6.3 詞嵌入130
6.3.1 什麼是詞嵌入130
6.3.2 詞嵌入的實現131
6.3.3 語義資訊132
6.4 Word2Vec133
6.4.1 Word2Vec簡介133
6.4.2 Word2Vec的應用134
6.4.3 使用gensim包訓練詞向量136
6.5 Doc2Vec138
6.5.1 PV-DM139
6.5.2 PV-DBOW140
6.6 實例—利用Doc2Vec計算文檔相似度140
6.6.1 準備語料庫140
6.6.2 定義和訓練模型141
6.6.3 分析文本相似度142
6.7 本章小結145
6.8 習題145

第7章 卷積神經網路與自然語言處理146
7.1 卷積神經網路簡介146
7.1.1 深層神經網路用於影像處理存在的問題146
7.1.2 什麼是卷積148
7.1.3 填充150
7.1.4 步長151
7.1.5 什麼是卷積神經網路151
7.2 應用卷積神經網路解決自然語言處理問題152
7.2.1 NLP中的卷積層152
7.2.2 NLP中的池化層154
7.2.3 NLP中CNN的基本架構155
7.3 CNN在應用中的參數選擇156
7.3.1 啟動函數156
7.3.2 卷積核的大小和個數156
7.3.3 dropout層156
7.3.4 softma分類器157
7.4 實例—使用CNN實現新聞文本分類158
7.4.1 準備數據158
7.4.2 定義和訓練模型163
7.5 本章小結165
7.6 習題166

第8章 迴圈神經網路與自然語言處理167
8.1 迴圈神經網路的基本結構168
8.2 迴圈神經網路應用于自然語言處理170
8.2.1 序列到類別170
8.2.2 同步序列到序列171
8.2.3 非同步序列到序列172
8.3 迴圈神經網路的訓練173
8.3.1 隨時間反向傳播演算法173
8.3.2 權重的更新174
8.3.3 梯度消失與梯度爆炸175
8.4 長短期記憶網路175
8.4.1 細胞狀態177
8.4.2 門控機制 177
8.5 門控迴圈單元網路 181
8.6 更深的網路184
8.6.1 堆疊迴圈神經網路184
8.6.2 雙向迴圈神經網路185
8.7 實例—使用LSTM網路實現文本情感分析186
8.7.1 數據準備186
8.7.2 構建和訓練模型187
8.8 本章小結190
8.9 習題191

第9章 序列到序列模型與注意力機制192
9.1 序列到序列模型192
9.1.1 什麼是序列到序列模型192
9.1.2 編碼–解碼架構193
9.1.3 編碼器194
9.1.4 解碼器195
9.1.5 模型訓練197
9.2 注意力機制198
9.2.1 什麼是注意力機制198
9.2.2 計算語義向量200
9.2.3 自注意力機制200
9.2.4 Transformer模型202
9.3 實例—基於注意力機制的機器翻譯203
9.3.1 準備數據203
9.3.2 構建並訓練模型207
9.3.3 使用模型進行翻譯211
9.4 本章小結212
9.5 習題213
參考文獻215