最紮實的基礎 - 使用PyTorch X Transformer X Hugging Face實作大模型-FindBook 找書網 ISBN:9786267757796

圖書名稱：最紮實的基礎 - 使用PyTorch X Transformer X Hugging Face實作大模型

【書籍特點】
☆Transformer 編碼器－解碼器架構與序列建模
☆自注意力機制、縮放點積注意力與 Softmax 權重
☆多頭注意力設計、拼接與線性變換
☆殘差連線、層歸一化、位置編碼實作要點
☆PyTorch 動態計算圖、自動微分、GPU 加速
☆從零實作基礎 Transformer 並完成訓練與測試
☆Hugging Face Transformers：模型載入、配置、訓練與推理
☆資料前置處理與分詞：清洗、BPE、WordPiece、截斷與填充
☆微調與遷移學習：全參數/部分參數、凍結層、增量訓練
☆文字生成推理：Beam Search、Top-K、Top-P、溫度與重複控制
☆模型最佳化：剪枝、蒸餾、量化、TorchScript、Profiler、AMP、Checkpointing
☆分散式訓練與落地：多GPU/All-Reduce/梯度累積，分類/問答/NER，可解釋性（SHAP、LIME），Docker 與 Kubernetes 部署

【內容簡介】
本書以Transformer為主線，從PyTorch實作到Hugging Face預訓練模型訓練與微調，依序整理資料前置處理、分詞（BPE、WordPiece）、生成推理（Beam Search、Top-K、Top-P）、模型最佳化（剪枝、蒸餾、量化、TorchScript、Profiler）、混合精度與多GPU分散式訓練，並以分類、問答、命名實體辨識等NLP任務貫穿，最後完成智慧文字分析平臺的容器化與雲端部署。內容以可執行範例串接關鍵機制，適合大模型開發與NLP研發人員作為實作導向的參考。

本書共分12章，第1章介紹大模型與Transformer技術背景、PyTorch特點與簡易Transformer實作；第2章介紹編碼器－解碼器結構、位置編碼、殘差連線與層歸一化的模組化實現；第3章介紹注意力與多頭注意力、權重視覺化與解讀；第4章介紹Hugging Face Transformers載入配置、訓練推理與Tokenizer/Dataset/Pipeline整合；第5章介紹文字清洗、停用詞、BPE/WordPiece分詞、截斷與填充；第6章介紹領域微調、遷移學習、凍結層與增量訓練；第7章介紹文字生成推理與輸出控制；第8章介紹剪枝、蒸餾、量化、混合精度與效能分析；第9章介紹多GPU並行與分散式訓練；第10章介紹分類、問答與命名實體辨識實作；第11章介紹SHAP、LIME與注意力可解釋性；第12章整合前述技術開發智慧文字分析平臺並完成Docker與Kubernetes部署。

作者簡介：

凌峰博士
目前就職於某985高校，長期從事機器學習、人工智慧、電腦視覺與大模型領域的研發與教學，在模型優化、訓練加速、資料驅動演算法開發等方面有深刻見解，參與並主導多項相關科研專案。

作者序

▍前言
隨著大模型技術的高速發展，特別是以Transformer 為核心的深度學習架構在自然語言處理（NLP）領域的廣泛應用，企業對大語言模型（LLM）的需求日益增長。LLM 在文字生成、分類、問答等任務上展現出強大的潛力，能夠深入理解和生成自然語言內容，為資料分析和業務決策提供了強有力的技術支撐。基於LLM 的應用不僅提升了業務的自動化和智慧化水準，還為企業在資料驅動的商業環境中提供了競爭優勢。
本書系統地介紹了Transformer 模型的核心結構與實現，包括自注意力機制、多頭注意力、殘差連線等關鍵技術，並介紹了如何利用PyTorch 和Hugging Face 資料庫建構、訓練和微調LLM，幫助讀者掌握LLM 的關鍵技術與應用方法。書中還專門介紹了多GPU 並行處理、混合精度訓練等技術，以提高模型在大規模資料集上的訓練和推理效率，為實時分析與智慧決策提供有力支援。在上述內容的基礎上，本書還介紹了Transformer 在實際NLP 任務中的應用、模型可解釋性技術以及專案實戰等內容。在結構安排上，本書分為12 章，內容由淺入深，各章內容概要如下：

第1~3 章 Transformer 與PyTorch 基礎
該部分內容詳細講解了Transformer 的基本架構與核心概念，包括編碼器－解碼器結構、自注意力機制和多頭注意力的設計與工作原理，幫助讀者深入理解和實現Transformer 模型的組成部分。同時，還提供了在PyTorch 中實現基礎Transformer 模型的程式範例，讓讀者掌握模型架設的基礎知識。

第4~6 章模型建構與微調
這一部分內容介紹了如何在實際專案中使用Hugging Face 資料庫載入、配置和訓練預訓練模型（第4 章），並講解了NLP 任務中的資料前置處理與分詞技術（第5 章），以及在已有模型基礎上進行微調和遷移學習（第6 章），這些內容為後續模型的最佳化和應用奠定了堅實的基礎。

第7~9 章生成、最佳化與分散式訓練
該部分內容詳細介紹了生成模型的推理方法，包括Beam Search、Top-K 取樣和Top-P 取樣等（第7 章），讓讀者能夠靈活控制生成模型的輸出效果。接著，介紹了模型最佳化技術，如模型量化和剪枝、模型最佳化和測試、混合精度訓練（第8 章），以及多GPU 並行處理和分散式訓練的實現（第9 章），幫助讀者提升大模型在推理和訓練中的效率。

第10 章 NLP 任務例項：分類、問答與命名實體辨識
本章透過具體的NLP 任務例項介紹LLM 的應用，包括文字分類、問答系統和命名實體辨識，帶領讀者深入理解和實現各類NLP 任務的解決方案，並掌握在實際專案中應用這些任務的方法。

第11 章深度學習模型的可解釋性
本章詳細介紹深度學習模型的可解釋性，介紹了SHAP、LIME 等工具的使用，幫助讀者在不同任務中提取特徵重要性和注意力權重，從而更清晰地理解模型的決策邏輯，提升LLM 在企業應用中的可信度。

第12 章智慧文字分析平臺的開發
本章以一個綜合實戰專案為例，將各章節基礎知識融會貫通，帶領讀者從資料收集、前置處理、文字生成到模型的容器化和雲端部署，開發一個企業級智慧文字分析平臺，具備模組化的開發與測試流程，幫助讀者全面掌握企業應用系統的架設。

本書覆蓋了當前廣泛關注的LLM 技術熱點，並提供了豐富的例項程式，適合大模型開發人員、大模型應用工程師、演算法工程師、NLP 研發人員以及計算機專業的學生，亦可作為大專院校人工智慧課程的相關教學用書。
作者
2025 年

顯示全部內容

▍第1 章 Transformer 與PyTorch 的整合應用概述
1.1 大模型與Transformer 的技術背景
1.1.1 自注意力機制的原理與實現細節
1.1.2 多層堆疊與殘差連線：Transformer 的高效資訊流
1.2 PyTorch 的應用場景與技術特點
1.2.1 動態圖型計算與自動微分機制
1.2.2 GPU 加速與多裝置支援
1.3 快速上手：使用PyTorch 實現一個簡單的Transformer 模型
1.3.1 Transformer 編碼器的基礎實現與訓練流程
1.3.2 解碼器與完整Transformer 模型的拼接與測試
1.4 本章小結
1.5 思考題

▍第2 章 Transformer 編碼器與解碼器的原理與實現
2.1 ...

顯示全部內容