內容簡介

本書介紹自然語言處理的原理和方法及其代碼實現，是一本著眼于自然語言處理教學實踐的圖書。

本書分為3個部分。第一部分介紹基礎技術，包括文本規範化、文本表示、文本分類、文本聚類。第二部分介紹自然語言的序列建模，包括語言模型、序列到序列模型、預訓練語言模型、序列標注。第三部分介紹自然語言的結構建模，包括成分句法分析、依存句法分析、語義分析、篇章分析。本書將自然語言處理的理論與實踐相結合，提供所介紹方法的代碼示例，能夠幫助讀者掌握理論知識並進行動手實踐。

本書適合作為高校自然語言處理課程的教材，也可作為相關行業的研究人員和開發人員的參考資料。

作者介紹

屠可偉，上海科技大學信息科學與技術學院長聘副教授、研究員、博士生導師。研究方向包括自然語言處理、機器學習等，主要研究將符號、統計和神經方法相結合用於語言結構的表示、學習與利用。發表論文100餘篇，主要發表在ACL、EMNLP、AAAI 等人工智能領域很好會議。擔任多個很好會議程序委員會委員和領域主席。曾獲ACL 2023傑出論文獎，以及SemEval 2022和SemEval 2023很好系統論文獎。

王新宇，上海科技大學博士，長期從事自然語言處理研究工作，在ACL、EMNLP、NAACL等很好會議上發表論文10餘篇，擔任ACL、NAACL會議的領域主席以及ACL滾動審查（ACL Rolling Review）執行編輯。曾獲得中國中文信息學會優秀博士學位論文提名、SemEval 2022很好系統論文獎等榮譽。

曲彥儒，伊利諾伊大學厄巴納-香檳分校博士生，長期從事自然語言處理研究工作，在ACL、NAACL、AAAI、ICLR等會議上發表了多篇論文。

俞勇，上海交通大學ACM班創辦人，重量教學名師，上海交通大學特聘教授。2018年創辦伯禹人工智能學院，在上海交通大學ACM班人工智能專業課程體系的基礎上，對人工智能課程體系進行創新，致力於培養很好的人工智能算法工程師和研究員。

第1章初探自然語言處理1
1．1自然語言處理是什麼1
1．2自然語言處理的應用2
1．3自然語言處理的難點3
1．4自然語言處理的方法論4
1．5小結5

第一部分基礎
第2章文本規範化8
2．1分詞8
2．1．1基於空格與標點符號的分詞8
2．1．2基於正則表達式的分詞9
2．1．3詞間不含空格的語言的分詞12
2．1．4基於子詞的分詞13
2．2詞規範化17
2．2．1大小寫折疊17
2．2．2詞目還原18
2．2．3詞幹還原19
2．3分句19
2．4小結20

第3章文本表示22
3．1詞的表示22
3．2稀疏向量表示24
3．3稠密向量表示25
3．3．1word2vec25
3．3．2上下文相關詞嵌入30
3．4文檔表示30
3．4．1詞-文檔共現矩陣31
3．4．2TF-IDF加權31
3．4．3文檔的稠密向量表示33
3．5小結33

第4章文本分類35
4．1基於規則的文本分類35
4．2基於機器學習的文本分類36
4．2．1樸素貝葉斯36
4．2．2邏輯斯諦回歸42
4．3分類結果評價45
4．4小結47

第5章文本聚類49
5．1k均值聚類算法49
5．2基於高斯混合模型的優選期望值算法53
5．2．1高斯混合模型53
5．2．2優選期望值算法53
5．3無監督樸素貝葉斯模型57
5．4主題模型60
5．5小結61

第二部分序列
第6章語言模型64
6．1概述64
6．2n元語法模型66
6．3循環神經網絡67
6．3．1循環神經網絡67
6．3．2長短期記憶73
6．3．3多層雙向循環神經網絡76
6．4注意力機制80
多頭注意力83
6．5Transformer模型85
6．6小結91

第7章序列到序列模型93
7．1基於神經網絡的序列到序列模型93
7．1．1循環神經網絡94
7．1．2注意力機制96
7．1．3Transformer98
7．2學習101
7．3解碼106
7．3．1貪心解碼106
7．3．2束搜索解碼107
7．3．3其他解碼問題與解決技巧110
7．4指針網絡111
7．5序列到序列任務的延伸112
7．6小結113

第8章預訓練語言模型114
8．1ELMo：基於語言模型的上下文相關詞嵌入114
8．2BERT：基於Transformer的雙向編碼器表示115
8．2．1掩碼語言模型115
8．2．2BERT模型116
8．2．3預訓練116
8．2．4微調與提示117
8．2．5BERT代碼演示117
8．2．6BERT模型擴展121
8．3GPT：基於Transformer的生成式預訓練語言模型122
8．3．1GPT模型的歷史122
8．3．2GPT-2訓練演示123
8．3．3GPT的使用125
8．4基於編碼器-解碼器的預訓練語言模型128
8．5基於HuggingFace的預訓練語言模型使用129
8．5．1文本分類129
8．5．2文本生成130
8．5．3問答130
8．5．4文本摘要131
8．6小結131

第9章序列標注133
9．1序列標注任務133
9．1．1詞性標注133
9．1．2中文分詞134
9．1．3命名實體識別134
9．1．4語義角色標注135
9．2隱馬爾可夫模型135
9．2．1模型135
9．2．2解碼136
9．2．3輸入序列的邊際概率137
9．2．4單個標簽的邊際概率138
9．2．5監督學習139
9．2．6無監督學習139
9．2．7部分代碼實現141
9．3條件隨機場146
9．3．1模型146
9．3．2解碼147
9．3．3監督學習148
9．3．4無監督學習149
9．3．5部分代碼實現149
9．4神經序列標注模型154
9．4．1神經softmax154
9．4．2神經條件隨機場154
9．4．3代碼實現155
9．5小結156

第三部分結構
第10章成分句法分析160
10．1成分結構160
10．2成分句法分析概述161
10．2．1歧義性與打分161
10．2．2解碼162
10．2．3學習162
10．2．4評價指標163
10．3基於跨度的成分句法分析163
10．3．1打分164
10．3．2解碼165
10．3．3學習170
10．4基於轉移的成分句法分析173
10．4．1狀態與轉移173
10．4．2轉移的打分174
10．4．3解碼175
10．4．4學習176
10．5基於上下文無關文法的成分句法分析177
10．5．1上下文無關文法177
10．5．2解碼和學習178
10．6小結179

第11章依存句法分析181
11．1依存結構181
11．1．1投射性182
11．1．2與成分結構的關係182
11．2依存句法分析概述184
11．2．1打分、解碼和學習184
11．2．2評價指標184
11．3基於圖的依存句法分析185
11．3．1打分185
11．3．2解碼186
11．3．3Eisner算法186
11．3．4MST算法191
11．3．5高階方法194
11．3．6監督學習194
11．4基於轉移的依存句法分析195
11．4．1狀態與轉移196
11．4．2打分、解碼與學習196
11．5小結198

第12章語義分析200
12．1顯式和隱式的語義表示200
12．2詞義表示201
12．2．1WordNet201
12．2．2詞義消歧203
12．3語義表示204
12．3．1專用和通用的語義表示204
12．3．2一階邏輯205
12．3．3語義圖205
12．4語義分析206
12．4．1基於句法的語義分析206
12．4．2基於神經網絡的語義分析207
12．4．3弱監督學習209
12．5語義角色標注209
12．5．1語義角色標注標準209
12．5．2語義角色標注方法211
12．6信息提取211
12．7小結212

第13章篇章分析213
13．1篇章213
13．1．1連貫性關係213
13．1．2篇章結構214
13．1．3篇章分析215
13．2共指消解215
13．2．1提及檢測216
13．2．2提及聚類216
13．3小結220

總結與展望221
參考文獻223
中英文術語對照表228
附錄234

看更多