博客來
這是一本系統梳理並深入解析ChatGPT核心技術、演算法實現、工作原理、訓練方法的著作，也是一本能指導你搭建專屬ChatGPT和實現大模型遷移及私有化的著作。本書得到了MOSS系統負責人邱錫鵬等多位專家的高度評價和鼎力推薦。
具體地，通過本書你能瞭解或掌握以下知識：
ChatGPT的工作流程和技術棧
ChatGPT的工作原理和演算法實現
基於Transformer架構的一系列預訓練語言模型的原理
強化學習的基礎知識
提示學習與大模型湧現出的上下文學習、思維鏈
大模型的訓練方法及常見的分散式訓練框架
基於人工回饋的強化學習整體框架
從零搭建類ChatGPT模型，類比完整的ChatGPT訓練過程
本書集理論、實戰和產業應用於一體，提供大量經詳細注釋的代碼，方便讀者理解和實操。總之，不管裡是想深入研究ChatGPT本身，還是正在研發或使用其他大模型，本書都應該能給你頗具價值的技術啟發與思考，讓你在大模型的路上快速前行，少走彎路。
| FindBook |
有 1 項符合
ChatGPT原理與實戰：大型語言模型的算法、技術和私有化的圖書 |
 |
ChatGPT原理與實戰：大型語言模型的算法、技術和私有化 作者：劉聰 出版社：機械工業出版社 出版日期：2023-08-01 語言：簡體中文 規格：平裝 / 291頁 / 19 x 26 x 1.46 cm / 普通級/ 1-1 |
| 圖書館借閱 |
| 國家圖書館 | 全國圖書書目資訊網 | 國立公共資訊圖書館 | 電子書服務平台 | MetaCat 跨館整合查詢 |
| 臺北市立圖書館 | 新北市立圖書館 | 基隆市公共圖書館 | 桃園市立圖書館 | 新竹縣公共圖書館 |
| 苗栗縣立圖書館 | 臺中市立圖書館 | 彰化縣公共圖書館 | 南投縣文化局 | 雲林縣公共圖書館 |
| 嘉義縣圖書館 | 臺南市立圖書館 | 高雄市立圖書館 | 屏東縣公共圖書館 | 宜蘭縣公共圖書館 |
| 花蓮縣文化局 | 臺東縣文化處 |
|
|
圖書介紹 - 資料來源：博客來 評分：
圖書名稱：ChatGPT原理與實戰：大型語言模型的算法、技術和私有化
內容簡介
目錄
讚譽
前言
第1章瞭解ChatGPT1
1.1ChatGPT的由來1
1.1.1什麼是ChatGPT2
1.1.2ChatGPT的發展歷史2
1.2ChatGPT的工作流程3
1.3ChatGPT用例3
1.3.1日常任務4
1.3.2編寫代碼5
1.3.3文本生成6
1.3.4辦公自動化9
1.4本章小結10
第2章ChatGPT原理解構11
2.1背景知識11
2.1.1自然語言處理的發展歷程12
2.1.2大型語言模型的發展歷程14
2.2ChatGPT同類產品18
2.2.1BlenderBot3.018
2.2.2LaMDA20
2.2.3Sparrow23
2.3ChatGPT的工作原理25
2.3.1預訓練與提示學習階段26
2.3.2結果評價與獎勵建模階段28
2.3.3強化學習與自我進化階段28
2.4演算法細節29
2.4.1標注數據29
2.4.2建模思路30
2.4.3存在的問題30
2.5關於ChatGPT的思考31
2.6本章小結32
第3章預訓練語言模型33
3.1Transformer結構33
3.2基於Encoder結構的模型36
3.2.1BERT36
3.2.2RoBERTa39
3.2.3ERNIE40
3.2.4SpanBERT42
3.2.5MacBERT43
3.2.6ALBERT44
3.2.7NeZha45
3.2.8UniLM46
3.2.9GLM47
3.2.10ELECTRA48
3.3基於Decoder結構的模型49
3.3.1GPT49
3.3.2CPM51
3.3.3PaLM51
3.3.4OPT52
3.3.5Bloom53
3.3.6LLaMA54
3.4基於Encoder-Decoder結構的模型55
3.4.1MASS55
3.4.2BART56
3.4.3T557
3.5基於誇誇閒聊資料的UniLM模型實戰59
3.5.1項目簡介59
3.5.2資料預處理模組59
3.5.3UniLM模型模組63
3.5.4模型訓練模組65
3.5.5模型推理模組72
3.6本章小結76
第4章強化學習基礎77
4.1機器學習的分類77
4.1.1有監督學習78
4.1.2無監督學習78
4.1.3強化學習79
4.2OpenAIGym82
4.2.1OpenAIGymAPI簡介83
4.2.2環境簡介84
4.3強化學習演算法85
4.3.1Q-learning演算法85
4.3.2SARSA演算法87
4.3.3DQN演算法89
4.3.4PolicyGradient演算法93
4.3.5Actor-Critic演算法95
4.4本章小結98
第5章提示學習與大型語言模型的湧現99
5.1提示學習99
5.1.1什麼是提示學習100
5.1.2提示範本設計100
5.1.3答案空間映射設計102
5.1.4多提示學習方法103
5.2上下文學習104
5.2.1什麼是上下文學習104
5.2.2預訓練階段提升上下文學習能力105
5.2.3推理階段優化上下文學習的效果107
5.3思維鏈108
5.4基於提示的文本情感分析實戰113
5.4.1項目簡介113
5.4.2資料預處理模組114
5.4.3BERT模型模組115
5.4.4模型訓練模組118
5.4.5模型推理模組128
5.5本章小結131
第6章大型語言模型預訓練132
6.1大型預訓練模型簡介132
6.2預訓練模型中的分詞器133
6.2.1BPE133
6.2.2WordPiece135
6.2.3Unigram136
6.2.4SentencePiece137
6.3分散式深度學習框架138
6.3.1並行範式簡介139
6.3.2Megatron-LM145
6.3.3DeepSpeed147
6.3.4Colossal-AI149
6.3.5FairScale152
6.3.6ParallelFormers153
6.3.7OneFlow153
6.4基於大型語言模型的預訓練實戰155
6.4.1項目簡介155
6.4.2資料預處理模組156
6.4.3執行模型訓練159
6.5基於大型語言模型的資訊抽取實戰168
6.5.1項目簡介168
6.5.2資料預處理模組169
6.5.3Freeze微調模組172
6.5.4LoRA微調模組176
6.5.5P-Tuningv2微調模組181
6.6本章小結186
第7章GPT系列模型分析187
7.1GPT-1～GPT-4系列模型分析187
7.1.1GPT-1和GPT-2模型187
7.1.2GPT-3模型189
7.1.3GPT-3的衍生模型：Code-X192
7.1.4GPT-4模型193
7.2InstructGPT模型分析194
7.2.1模型簡介194
7.2.2資料收集195
7.2.3模型原理198
7.2.4模型討論199
7.3基於GPT-2模型的文本摘要實戰200
7.3.1項目簡介200
7.3.2資料預處理模組200
7.3.3GPT-2模型模組202
7.3.4模型訓練模組204
7.3.5模型推理模組213
7.4本章小結219
第8章PPO演算法與RLHF理論實戰220
8.1PPO演算法簡介220
8.1.1策略梯度演算法回顧220
8.1.2PPO演算法原理剖析222
8.1.3PPO演算法對比與評價224
8.2RLHF框架簡介226
8.2.1RLHF內部剖析226
8.2.2RLHF價值分析228
8.2.3RLHF問題分析229
8.3基於PPO的正向情感傾向性生成項目實戰230
8.3.1項目任務與資料集分析230
8.3.2資料預處理模組230
8.3.3模型訓練模組232
8.3.4模型生成模組234
8.3.5模型評估模組235
8.4問題與思考237
8.5本章小結238
第9章類ChatGPT實戰239
9.1任務設計239
9.2數據準備240
9.3基於文檔生成問題任務的類ChatGPT實戰241
9.3.1SFT階段241
9.3.2RM階段249
9.3.3RL階段259
9.4本章小結270
第10章ChatGPT發展趨勢271
10.1AIGC的發展趨勢271
10.1.1AI雲邊協同272
10.1.2AI工具應用273
10.1.3AI可控生成274
10.1.4AI輔助決策275
10.2ChatGPT2C應用場景276
……
前言
第1章瞭解ChatGPT1
1.1ChatGPT的由來1
1.1.1什麼是ChatGPT2
1.1.2ChatGPT的發展歷史2
1.2ChatGPT的工作流程3
1.3ChatGPT用例3
1.3.1日常任務4
1.3.2編寫代碼5
1.3.3文本生成6
1.3.4辦公自動化9
1.4本章小結10
第2章ChatGPT原理解構11
2.1背景知識11
2.1.1自然語言處理的發展歷程12
2.1.2大型語言模型的發展歷程14
2.2ChatGPT同類產品18
2.2.1BlenderBot3.018
2.2.2LaMDA20
2.2.3Sparrow23
2.3ChatGPT的工作原理25
2.3.1預訓練與提示學習階段26
2.3.2結果評價與獎勵建模階段28
2.3.3強化學習與自我進化階段28
2.4演算法細節29
2.4.1標注數據29
2.4.2建模思路30
2.4.3存在的問題30
2.5關於ChatGPT的思考31
2.6本章小結32
第3章預訓練語言模型33
3.1Transformer結構33
3.2基於Encoder結構的模型36
3.2.1BERT36
3.2.2RoBERTa39
3.2.3ERNIE40
3.2.4SpanBERT42
3.2.5MacBERT43
3.2.6ALBERT44
3.2.7NeZha45
3.2.8UniLM46
3.2.9GLM47
3.2.10ELECTRA48
3.3基於Decoder結構的模型49
3.3.1GPT49
3.3.2CPM51
3.3.3PaLM51
3.3.4OPT52
3.3.5Bloom53
3.3.6LLaMA54
3.4基於Encoder-Decoder結構的模型55
3.4.1MASS55
3.4.2BART56
3.4.3T557
3.5基於誇誇閒聊資料的UniLM模型實戰59
3.5.1項目簡介59
3.5.2資料預處理模組59
3.5.3UniLM模型模組63
3.5.4模型訓練模組65
3.5.5模型推理模組72
3.6本章小結76
第4章強化學習基礎77
4.1機器學習的分類77
4.1.1有監督學習78
4.1.2無監督學習78
4.1.3強化學習79
4.2OpenAIGym82
4.2.1OpenAIGymAPI簡介83
4.2.2環境簡介84
4.3強化學習演算法85
4.3.1Q-learning演算法85
4.3.2SARSA演算法87
4.3.3DQN演算法89
4.3.4PolicyGradient演算法93
4.3.5Actor-Critic演算法95
4.4本章小結98
第5章提示學習與大型語言模型的湧現99
5.1提示學習99
5.1.1什麼是提示學習100
5.1.2提示範本設計100
5.1.3答案空間映射設計102
5.1.4多提示學習方法103
5.2上下文學習104
5.2.1什麼是上下文學習104
5.2.2預訓練階段提升上下文學習能力105
5.2.3推理階段優化上下文學習的效果107
5.3思維鏈108
5.4基於提示的文本情感分析實戰113
5.4.1項目簡介113
5.4.2資料預處理模組114
5.4.3BERT模型模組115
5.4.4模型訓練模組118
5.4.5模型推理模組128
5.5本章小結131
第6章大型語言模型預訓練132
6.1大型預訓練模型簡介132
6.2預訓練模型中的分詞器133
6.2.1BPE133
6.2.2WordPiece135
6.2.3Unigram136
6.2.4SentencePiece137
6.3分散式深度學習框架138
6.3.1並行範式簡介139
6.3.2Megatron-LM145
6.3.3DeepSpeed147
6.3.4Colossal-AI149
6.3.5FairScale152
6.3.6ParallelFormers153
6.3.7OneFlow153
6.4基於大型語言模型的預訓練實戰155
6.4.1項目簡介155
6.4.2資料預處理模組156
6.4.3執行模型訓練159
6.5基於大型語言模型的資訊抽取實戰168
6.5.1項目簡介168
6.5.2資料預處理模組169
6.5.3Freeze微調模組172
6.5.4LoRA微調模組176
6.5.5P-Tuningv2微調模組181
6.6本章小結186
第7章GPT系列模型分析187
7.1GPT-1～GPT-4系列模型分析187
7.1.1GPT-1和GPT-2模型187
7.1.2GPT-3模型189
7.1.3GPT-3的衍生模型：Code-X192
7.1.4GPT-4模型193
7.2InstructGPT模型分析194
7.2.1模型簡介194
7.2.2資料收集195
7.2.3模型原理198
7.2.4模型討論199
7.3基於GPT-2模型的文本摘要實戰200
7.3.1項目簡介200
7.3.2資料預處理模組200
7.3.3GPT-2模型模組202
7.3.4模型訓練模組204
7.3.5模型推理模組213
7.4本章小結219
第8章PPO演算法與RLHF理論實戰220
8.1PPO演算法簡介220
8.1.1策略梯度演算法回顧220
8.1.2PPO演算法原理剖析222
8.1.3PPO演算法對比與評價224
8.2RLHF框架簡介226
8.2.1RLHF內部剖析226
8.2.2RLHF價值分析228
8.2.3RLHF問題分析229
8.3基於PPO的正向情感傾向性生成項目實戰230
8.3.1項目任務與資料集分析230
8.3.2資料預處理模組230
8.3.3模型訓練模組232
8.3.4模型生成模組234
8.3.5模型評估模組235
8.4問題與思考237
8.5本章小結238
第9章類ChatGPT實戰239
9.1任務設計239
9.2數據準備240
9.3基於文檔生成問題任務的類ChatGPT實戰241
9.3.1SFT階段241
9.3.2RM階段249
9.3.3RL階段259
9.4本章小結270
第10章ChatGPT發展趨勢271
10.1AIGC的發展趨勢271
10.1.1AI雲邊協同272
10.1.2AI工具應用273
10.1.3AI可控生成274
10.1.4AI輔助決策275
10.2ChatGPT2C應用場景276
……
|
