大規模語言模型：從理論到實踐

2023年ChatGPT火爆全球，以其為代表的人工智能大語言模型成為全球人工智能從業者關注的焦點。

本書詳細介紹了構建大語言模型的四個主要階段：預訓練、有監督微調、獎勵建模和強化學習。每個階段都有算法、代碼、數據、難點及實踐經驗的詳細討論。本書以大語言模型的基礎理論開篇，探討了大語言模型預訓練數據的構建方法，以及大語言模型如何理解並服從人類指令，介紹了大語言模型的擴展應用和評估方法，為讀者提供了更全面的視野。

本書旨在為對大語言模型感興趣的讀者提供入門指南，也可作為高年級本科生和研究生自然語言處理相關課程的補充教材。



張奇，復旦大學計算機科學技術學院教授、博士生導師。主要研究方向是自然語言處理和信息檢索。兼任中國中文信息學會理事，中國中文信息學會信息檢索專委會常務委員，中國人工智能學會青年工作委員會常務委員。多次擔任ACL、EMNLP、COLING、全國信息檢索大會等重要國際、國內會議的程序委員會主席、領域主席、講習班主席等。承擔國家重點研發計劃課題、國家自然科學基金、上海市科委等多個項目，在國際重要學術刊物和會議上發表論文150余篇，獲得美國授權專利4項。獲得WSDM 2014最佳論文提名獎、COLING 2018領域主席推薦獎、NLPCC 2019傑出論文獎、COLING 2022傑出論文獎。獲得上海市“晨光計劃”人才計劃、復旦大學“卓越2025”人才培育計劃等支持，獲得錢偉長中文信息處理科學技術一等獎、漢王青年創新一等獎、上海市科技進步二等獎、教育部科技進步二等獎、ACM上海新星提名獎、IBM Faculty Award等獎項。

桂韜，復旦大學自然語言處理實驗室副研究員、碩士生導師。研究領域為預訓練模型、信息抽取和魯棒模型。在高水平國際學術期刊和會議上發表論文40余篇，主持國家自然科學基金、計算機學會、人工智能學會的多個基金項目。獲得錢偉長中文信息處理科學技術一等獎、中國中文信息學會優秀博士論文獎、COLING 2018最佳論文提名獎、NLPCC 2019傑出論文獎，入選第七屆中國科協青年人才托舉工程，入選上海市2023年度“科技創新行動計劃”啟明星項目，獲得2023年度世界人工智能大會雲帆獎。

鄭銳，復旦大學計算機科學技術學院博士生，導師為張奇教授。研究興趣包括大模型對齊、魯棒性等。MOSS-RLHF開源項目負責人，文本魯棒性評測工具TextFlint的核心貢獻者，在ACL、EMNLP、COLING等國際會議上發表學術論文十余篇。

黃萱菁，復旦大學計算機科學技術學院教授、博士生導師。主要從事人工智能、自然語言處理和信息檢索研究。兼任中國中文信息學會理事，中國計算機學會自然語言處理專委會副主任，中國人工智能學會女科技工作者委員會副主任，計算語言學學會亞太分會副主席，亞太信息檢索學會指導委員會委員。承擔國家重點研發計劃課題、國家自然科學基金等多個項目，在國際重要學術刊物和會議上發表論文150余篇。獲得錢偉長中文信息處理科學技術一等獎、上海市育才獎、人工智能全球女性學者、福布斯中國科技女性等多項榮譽。