現代AI是這麼做出來的 - 從訓練、演算法到微調全實作-FindBook 找書網 ISBN:9786267757505

圖書名稱：現代AI是這麼做出來的 - 從訓練、演算法到微調全實作

【書籍特點】
☆Transformer：自注意力、多頭注意力、位置編碼
☆GPT：文字生成、Greedy Search、Beam Search、困惑度評估
☆BERT：遮罩語言模型、預訓練、微調、分類任務
☆ViT：影像分塊、視覺嵌入、注意力量化
☆微調方法：Adapter Tuning、LoRA、P-Tuning
☆資料處理：文字清洗、分詞、嵌入向量、資料增強
☆混合精度與分散式訓練：Data Parallel、Model Parallel、梯度累積
☆對比學習與對抗訓練：SimCLR、GAN、自監督任務
☆最佳化器：AdamW、LAMB、動態學習率、Warmup、餘弦退火
☆模型壓縮：知識蒸餾、教師學生架構、權重剪枝
☆訓練流程：Tokenization、多GPU訓練、訓練中斷與恢復
☆微調實作：資料集切分、層級凍結、超參數調整、推理量化

【內容簡介】
本書共分為12章，涵蓋大模型的建構、訓練與微調流程。
第一章介紹Transformer的基本原理，包括自注意力、多頭注意力與位置編碼。第二章說明GPT模型的文字生成機制與實作方法，並比較Greedy與Beam Search等生成策略。第三章講解BERT模型的編碼結構與遮罩語言模型任務，並說明如何應用於分類任務。第四章介紹ViT模型在影像分塊、嵌入與注意力運算上的應用。第五章說明Adapter Tuning、LoRA、P-Tuning等常見微調方法。第六章說明資料清洗、資料增強與嵌入向量生成等處理技術。第七章解釋混合精度訓練、多GPU併行與梯度累積等效率優化技術。第八章涵蓋對比學習與對抗訓練，包括SimCLR與GAN的實作細節。第九章介紹AdamW與LAMB最佳化器，並比較各種動態學習率排程方式。第十章說明知識蒸餾與剪枝，包括教師學生架構與多頭注意力精簡方法。第十一章示範大模型訓練流程，從資料前處理到訓練中斷與恢復。第十二章介紹模型微調的實作，包括資料集切分、參數設定與推理效能調整。

作者簡介：

梁楠博士
畢業於北京航空航天大學，高級工程師，長期從事模式識別、機器學習、統計理論的研究與應用，負責或參與過多項科研項目，專註於人工智慧、大語言模型的應用與開發，對深度學習、數據分析與預測等有獨到見解。

作者序

前言

在人工智慧技術日新月異的今天，深度學習中的大規模模型以其在自然語言處理、電腦視覺等領域的非凡表現，已然成為推動技術創新的核心力量。特別是大規模語言模型的異軍突起，更是吸引了無數目光。然而，這些模型的建構和訓練過程並非易事。它們涉及複雜的演算法設計、最佳化技巧、資料前置處理以及模型調優等多個環節，對開發者而言是一個巨大的挑戰。因此，急需一本能夠系統介紹大模型演算法、訓練與微調的書籍，以指導廣大開發者進行實踐。

近年來，Transformer 架構及其衍生模型，如GPT、BERT、ViT 等，已成為自然語言處理、電腦視覺等領域的核心技術。這些大模型憑藉其強大的知識表徵和模式學習能力，為人工智慧的發展注入了新的活力。本書旨在為讀者提供一條從大模型的基礎演算法到實際應用的完整學習路徑。透過閱讀本書，讀者將深入理解並掌握這些複雜模型的建構、訓練、最佳化與微調方法。無論是初學者還是有一定經驗的開發者，都能從中獲益匪淺。

本書從基礎建構模組入手，以清晰明了的方式逐步解析大模型的核心演算法原理與實現細節。本書共12 章，各章內容概述如下：

第1 章將詳細介紹Transformer 模型的基本原理，包括自注意力機制、多頭注意力、位置編碼等，為後續章節的理解奠定堅實基礎。

第2~4 章將透過實例深入剖析當前主流的模型。第2 章介紹GPT 模型文字生成的核心原理與實現，包括核心模組、文字生成過程與模型效果評估與調優方法；第3 章介紹BERT 模型的核心實現與訓練，包括模型原理、預訓練任務、模型微調與分類任務；第4 章介紹視覺Transformer 模型的實現，展示其在影像分塊、嵌入及量化分析方面的創新。

第5~10 章將深入探討如何最佳化與微調大模型。第5 章詳細講解了Adapter Tuning、P-Tuning 等微調方法，使模型能夠更進一步地適應不同任務需求；第6~8 章覆蓋資料處理、混合精度與分散式訓練、對比學習和對抗訓練等技術，幫助讀者在有限資源下高效提升模型性能；第9、10 章則專注於最佳化策略，介紹AdamW、LAMB 等自我調整最佳化器和動態學習率排程，並探討知識蒸餾與剪枝技術如何在不犧牲性能的情況下減少計算需求，從而使大模型的應用更加廣泛。

第11、12 章為實戰章節，將透過完整案例展示模型訓練和微調的流程，包括資料準備、分層凍結、超參數調節等關鍵步驟，並介紹量化與蒸餾等推理最佳化方法。

本書的內容設計以實用為導向，每一章都包含完整的程式範例與詳細註釋，以幫助讀者在理解理論的同時進行實際操作。透過一系列實戰案例演示，讀者將掌握如何從零架設一個大規模語言模型，並在不同任務中靈活地應用微調技術。

全書注重理論與實踐的結合，適合希望系統掌握大模型建構、訓練和最佳化的研發人員、大專院校學生，也適合對自然語言處理、電腦視覺等領域的大模型開發有興趣的讀者。還可作為培訓機構和大專院校相關課程的教學用書。

希望本書能幫助讀者深入理解大模型的精髓，並在各自領域中充分發揮其應用價值，共同推動人工智慧的發展。

如果讀者在學習本書的過程中遇到問題，可以發送郵件至booksaga@126.com，郵件主題為「從零建構大模型：演算法、訓練與微調」。

作者

顯示全部內容

▌第0 章引言
一、大模型技術的發展歷史
1. 基於規則和統計學習的早期階段
2. 神經網路與深度學習的崛起
3. Transformer 的誕生與自注意力機制的崛起
4. 預訓練模型的興起：BERT、GPT 和T5
5. 超大規模模型與多模態應用
二、開發環境配置基礎
1. 硬體規格要求
2. 軟體相依與環境架設
3. 常見問題與解決方案

▌第1 章 Transformer 模型基礎
1.1 Seq2Seq 模型
1.1.1 編碼器－解碼器工作原理
1.1.2 Seq2Seq 結構實現
1.2 分詞與嵌入層
1.2.1 分詞器：將文字轉為嵌入向量
1.2.2 PyTorch 實現嵌入層（將分詞後的結果輸入模...

顯示全部內容