| FindBook |
|
有 1 項符合
魏新宇的圖書 |
 |
$ 517 | 大語言模型原理、訓練及應用：基於GPT
作者：魏新宇 出版社：機械工業出版社 出版日期：2024-09-01 語言：簡體中文 規格：平裝 / 272頁 / 19 x 26 x 1.36 cm / 普通級/ 1-1  博客來 - 電腦硬體
- 來源網頁  看圖書介紹
|
|
|
圖書介紹 - 資料來源：博客來 評分：
圖書名稱：大語言模型原理、訓練及應用：基於GPT
內容簡介
本書是一本系統介紹大語言模型原理、訓練及應用的書，共7章，主要內容包括：認識大語言模型、大語言模型訓練、GPU池化——構建大語言模型算力基礎、GPT的優化與編排、GPT應用開發實踐、Copilot應用開發實踐、語言模型小型化及在邊緣端的部署。本書詳盡闡述了大語言模型的起源、定義及其與傳統深度學習方法間的關鍵差異，深入探討了主流訓練框架如何為大語言模型提供動力，並介紹了優化策略以及高效建立算力基礎設施所要考慮的因素。內容涵蓋從基礎概念介紹到複雜系統編排，再到具體行業應用與開發等多個層面。 本書適合從事大語言模型開發及應用的讀者參考，無論初學者還是經驗豐富的實踐者，都能從本書中學到實用的知識和技能。
作者介紹
魏新宇，微軟全球黑帶AI技術專家。曾任英偉達資深解決方案架構師、紅帽首席解決方案架構師( RHCA Level5)。暢銷書作者，著有《OpenShift 在企業中的實戰: PaaS DevOps微服務》《雲原生應用構建:基於OpenShift》《金融級IT架構與運維》等書。
白雪冰，微軟(中國)有限公司高級架構師。曾任IBM中國軟體發展中心(CSDL)架構師。目前主要從事基於語音辨識、電腦視覺、自然語言處理、智慧搜索以及OpenAI和其他大語言模型等技術，構建。企業級解決方案的工作。
周博洋，微軟(中國)有限公司高級架構師。曾任Juniper、Cisco系統架構師；主要研究生成式AI算法及訓|練和推理方法的優化。負責Azure OpenAI業務的推廣，同時負責Azure Machine Learning和GPU業務在國內的解決方案整合工作，擁有扎實的全棧技術能力，對Al Infrastructure和AI演算法優化有獨到的見解。
白雪冰，微軟(中國)有限公司高級架構師。曾任IBM中國軟體發展中心(CSDL)架構師。目前主要從事基於語音辨識、電腦視覺、自然語言處理、智慧搜索以及OpenAI和其他大語言模型等技術，構建。企業級解決方案的工作。
周博洋，微軟(中國)有限公司高級架構師。曾任Juniper、Cisco系統架構師；主要研究生成式AI算法及訓|練和推理方法的優化。負責Azure OpenAI業務的推廣，同時負責Azure Machine Learning和GPU業務在國內的解決方案整合工作，擁有扎實的全棧技術能力，對Al Infrastructure和AI演算法優化有獨到的見解。
目錄
推薦序
前言
第1章 認識大語言模型
1.1大語言模型概述
1.1.1AI技術的發展
1.1.2生成式AI、NLP、GPT的關係
1.1.3大語言模型的發展
1.2大語言模型的訓練
1.2.1預訓練
1.2.2微調
1.2.3人類回饋強化學習
1.3大語言模型的核心應用場景
1.3.1內容創作
1.3.2摘要生成
1.3.3語義檢索
1.3.4代碼生成
1.4大語言模型的多模態場景
1.4.1文生圖
1.4.2圖片與視頻理解
1.4.3語音轉文字
1.4.4大語言模型與數字人/虛擬人的集成
1.4.5視頻生成
1.5大語言模型的現狀和未來
1.6本章小結
第2章 大語言模型訓練
2.1Transformer網路架構
2.1.1傳統Transformer架構
2.1.2Casual-decoder架構
2.1.3Transformer Embedding和位置編碼
2.1.4Attention層和Attention機制
2.1.5FFN/MLP網路
2.2模型參數量與計算量評估
2.2.1算力資源計算方法
2.2.2顯存資源計算方法
2.3分散式訓練介紹
2.3.1通信原語
2.3.2數據並行
2.3.3模型並行
2.3.4DeepSpeed Zero優化
2.4如何訓練大語言模型
2.4.1預訓練
2.4.2微調
2.4.3RLHF/RLAIF
2.5Casual-decoder 大語言模型訓練案例
2.5.1預訓練
2.5.2DPO
2.6本章小結
第3章 GPU池化——構建大語言模型算力基礎
3.1GPU池化建設目標
3.2GPU與網卡的選擇
3.2.1GPU的選擇
3.2.2RDMA網路
3.3基礎架構環境的驗證
3.3.1Perftest測試網卡
3.3.2NCCL測試性能
3.4分散式訓練與推理
3.4.1訓練環境選擇
3.4.2Azure GPU VM的創建
3.4.3訓練框架的選擇
3.4.4在Azure GPU VM中安裝驅動
3.4.5使用NeMo訓練文本分類模型
3.4.6使用DeepSpeed-Chat訓練OPT
3.4.7使用DeepSpeed-Training訓練Stable Diffusion
3.4.8深度學習推理環境搭建
3.5本章小結
第4章 GPT的優化與編排
4.1GPT的優化
4.1.1提示工程
4.1.2GPT微調
4.1.3基於Azure OpenAI實現RAG
4.1.4實現開源RAG
4.1.5基於Assistants API實現AI助手
4.1.6通過流程工程自動生成代碼
4.2GPT的調度與編排
4.2.1大語言模型主流編排工具
4.2.2基於AutoGen調度開源模型實現AI助手
4.3本章小結
第5章 GPT應用開發實踐
5.1GPT的典型應用場景
5.2基於RAG構建知識庫
5.2.1RAG的主要優勢
5.2.2RAG的主要工作方式
5.2.3實現RAG的常用框架
5.2.4RAG開發示例
5.3基於ChatGPT優化電商商品詳情頁
5.3.1電商商品詳情頁優化概述
5.3.2亞馬遜電商商品詳情頁概述
5.3.3數據的準備
5.3.4標題的優化
5.3.5商品要點的優化
5.3.6結果驗證
5.4基於開源框架搭建智慧體應用
5.4.1智能體的概念
5.4.2AutoAgents框架
5.4.3MetaGPT 框架
5.4.4AutoGen 框架
5.4.5基於AutoGen 實現智慧體應用
5.5本章小結
第6章 Copilot應用開發實踐
6.1Copilot概述
6.2Copilot的應用
6.2.1網路協助工具
6.2.2生產力協助工具
6.2.3創意協助工具
6.2.4日常協助工具
6.2.5低代碼/無代碼開發協助工具
6.3開發一個Copilot
6.3.1Copilot的架構
6.3.2Copilot開發示例
6.4GitHub Copilot輔助編程
6.4.1GitHub Copilot的功能
6.4.2GitHub Copilot的配置與驗證
6.5垂直領域的Copilot
6.5.1索菲亞項目介紹
6.5.2索菲亞項目效果展示
6.6本章小結
第7章 語言模型小型化及在邊緣端的部署
7.1語言模型小型化的關鍵因素
7.1.1基礎模型的選取
7.1.2模型量化的方法
7.1.3BitsandBytes和GPTQ量化對比
7.1.4GPTQ 和AWQ量化對比
7.1.5模型的微調
7.1.6推理模型的選擇
7.1.7使用TGI運行GPTQ量化後的模型
7.1.8使用vLLM進行量化推理優化
7.1.9使用ExLlamaV2對LLaMA-2進行量化推理優化
7.1.10使用llama.cpp進行量化推理優化
7.2小語言模型Phi
7.2.1Phi-2的執行模式和記憶體消耗
7.2.2Phi-2的微調
7.2.3Phi-3的量化與推理驗證
7.3Mistral AI模型
7.3.1Mixtral 8x7B的性能數據
7.3.2Mixtral 8x7B的架構
7.3.3Mixtral 8x7B的Q-LoRA微調
7.3.4基於Mistral 7B實現聊天機器人
7.4本章小結
前言
第1章 認識大語言模型
1.1大語言模型概述
1.1.1AI技術的發展
1.1.2生成式AI、NLP、GPT的關係
1.1.3大語言模型的發展
1.2大語言模型的訓練
1.2.1預訓練
1.2.2微調
1.2.3人類回饋強化學習
1.3大語言模型的核心應用場景
1.3.1內容創作
1.3.2摘要生成
1.3.3語義檢索
1.3.4代碼生成
1.4大語言模型的多模態場景
1.4.1文生圖
1.4.2圖片與視頻理解
1.4.3語音轉文字
1.4.4大語言模型與數字人/虛擬人的集成
1.4.5視頻生成
1.5大語言模型的現狀和未來
1.6本章小結
第2章 大語言模型訓練
2.1Transformer網路架構
2.1.1傳統Transformer架構
2.1.2Casual-decoder架構
2.1.3Transformer Embedding和位置編碼
2.1.4Attention層和Attention機制
2.1.5FFN/MLP網路
2.2模型參數量與計算量評估
2.2.1算力資源計算方法
2.2.2顯存資源計算方法
2.3分散式訓練介紹
2.3.1通信原語
2.3.2數據並行
2.3.3模型並行
2.3.4DeepSpeed Zero優化
2.4如何訓練大語言模型
2.4.1預訓練
2.4.2微調
2.4.3RLHF/RLAIF
2.5Casual-decoder 大語言模型訓練案例
2.5.1預訓練
2.5.2DPO
2.6本章小結
第3章 GPU池化——構建大語言模型算力基礎
3.1GPU池化建設目標
3.2GPU與網卡的選擇
3.2.1GPU的選擇
3.2.2RDMA網路
3.3基礎架構環境的驗證
3.3.1Perftest測試網卡
3.3.2NCCL測試性能
3.4分散式訓練與推理
3.4.1訓練環境選擇
3.4.2Azure GPU VM的創建
3.4.3訓練框架的選擇
3.4.4在Azure GPU VM中安裝驅動
3.4.5使用NeMo訓練文本分類模型
3.4.6使用DeepSpeed-Chat訓練OPT
3.4.7使用DeepSpeed-Training訓練Stable Diffusion
3.4.8深度學習推理環境搭建
3.5本章小結
第4章 GPT的優化與編排
4.1GPT的優化
4.1.1提示工程
4.1.2GPT微調
4.1.3基於Azure OpenAI實現RAG
4.1.4實現開源RAG
4.1.5基於Assistants API實現AI助手
4.1.6通過流程工程自動生成代碼
4.2GPT的調度與編排
4.2.1大語言模型主流編排工具
4.2.2基於AutoGen調度開源模型實現AI助手
4.3本章小結
第5章 GPT應用開發實踐
5.1GPT的典型應用場景
5.2基於RAG構建知識庫
5.2.1RAG的主要優勢
5.2.2RAG的主要工作方式
5.2.3實現RAG的常用框架
5.2.4RAG開發示例
5.3基於ChatGPT優化電商商品詳情頁
5.3.1電商商品詳情頁優化概述
5.3.2亞馬遜電商商品詳情頁概述
5.3.3數據的準備
5.3.4標題的優化
5.3.5商品要點的優化
5.3.6結果驗證
5.4基於開源框架搭建智慧體應用
5.4.1智能體的概念
5.4.2AutoAgents框架
5.4.3MetaGPT 框架
5.4.4AutoGen 框架
5.4.5基於AutoGen 實現智慧體應用
5.5本章小結
第6章 Copilot應用開發實踐
6.1Copilot概述
6.2Copilot的應用
6.2.1網路協助工具
6.2.2生產力協助工具
6.2.3創意協助工具
6.2.4日常協助工具
6.2.5低代碼/無代碼開發協助工具
6.3開發一個Copilot
6.3.1Copilot的架構
6.3.2Copilot開發示例
6.4GitHub Copilot輔助編程
6.4.1GitHub Copilot的功能
6.4.2GitHub Copilot的配置與驗證
6.5垂直領域的Copilot
6.5.1索菲亞項目介紹
6.5.2索菲亞項目效果展示
6.6本章小結
第7章 語言模型小型化及在邊緣端的部署
7.1語言模型小型化的關鍵因素
7.1.1基礎模型的選取
7.1.2模型量化的方法
7.1.3BitsandBytes和GPTQ量化對比
7.1.4GPTQ 和AWQ量化對比
7.1.5模型的微調
7.1.6推理模型的選擇
7.1.7使用TGI運行GPTQ量化後的模型
7.1.8使用vLLM進行量化推理優化
7.1.9使用ExLlamaV2對LLaMA-2進行量化推理優化
7.1.10使用llama.cpp進行量化推理優化
7.2小語言模型Phi
7.2.1Phi-2的執行模式和記憶體消耗
7.2.2Phi-2的微調
7.2.3Phi-3的量化與推理驗證
7.3Mistral AI模型
7.3.1Mixtral 8x7B的性能數據
7.3.2Mixtral 8x7B的架構
7.3.3Mixtral 8x7B的Q-LoRA微調
7.3.4基於Mistral 7B實現聊天機器人
7.4本章小結
|
