潘朵拉

第 1 章 AIGC 基礎
1.1 身邊的AIGC
1.1.1 影像生成和編輯類工具
1.1.2 文字提效類工具
1.1.3 音訊創作類工具
1.2 神經網路
1.2.1 類神經元
1.2.2 啟動函數
1.2.3 類神經網路
1.2.4 損失函數
1.2.5 最佳化器
1.2.6 卷積神經網路
1.3 多模態模型
1.3.1 認識模態
1.3.2 典型多模態模型
1.3.3 參數量
1.3.4 計算量
1.4 小結

第 2 章 影像生成模型：GAN 和擴散模型
2.1 影像生成模型的技術演化
2.1.1 第一代影像生成模型：VAE
2.1.2 第二代影像生成模型：GAN
2.1.3 第三代影像生成模型：基於流的模型
2.1.4 第四代影像生成模型：擴散模型
2.1.5 第五代影像生成模型：自迴歸模型
2.2 「舊畫師」GAN
2.2.1 生成對抗原理
2.2.2 生成能力的進化
2.2.3 GAN 時代的「圖生圖」
2.2.4 GAN 的技術應用
2.3 「新畫師」擴散模型
2.3.1 加入雜訊過程：從原始影像到雜訊圖
2.3.2 去除雜訊過程：從雜訊圖到清晰影像
2.3.3 訓練過程和推理過程
2.3.4 擴散模型與GAN
2.4 擴散模型的U-Net 模型
2.4.1 巧妙的U 形結構
2.4.2 損失函數設計
2.4.3 應用於擴散模型
2.5 擴散模型的採樣器
2.5.1 採樣器背後的原理
2.5.2 如何選擇採樣器
2.6 訓練一個擴散模型
2.6.1 初探擴散模型：輕鬆入門
2.6.2 深入擴散模型：訂製藝術
2.7 小結

第 3 章 Stable Diffusion 的核心技術
3.1 影像的「壓縮器」VAE
3.1.1 從AE 到VAE
3.1.2 影像插值生成
3.1.3 訓練「餐廳評論機器人」
3.1.4 VAE 和擴散模型
3.2 讓模型「聽話」的CLIP
3.2.1 連接兩種模態
3.2.2 跨模態檢索
3.2.3 其他CLIP 模型
3.2.4 CLIP 和擴散模型
3.3 交叉注意力機制
3.3.1 序列、詞元和詞嵌入
3.3.2 自注意力與交叉注意力
3.3.3 多頭注意力
3.4 Stable Diffusion 是如何工作的
3.4.1 Stable Diffusion 的演化之路
3.4.2 潛在擴散模型
3.4.3 文字描述引導原理
3.4.4 U-Net 模型實現細節
3.4.5 反向描述詞與CLIP Skip
3.4.6 「圖生圖」實現原理
3.5 小結

第 4 章 DALL · E 2、Imagen、DeepFloyd 和Stable Diffusion 影像變形的核心技術
4.1 里程碑DALL · E 2
4.1.1 DALL · E 2 的基本功能概覽
4.1.2 DALL · E 2 背後的原理
4.1.3 unCLIP：影像變形的魔法
4.1.4 DALL · E 2 的演算法局限性
4.2 Imagen 和DeepFloyd
4.2.1 Imagen vs DALL · E 2
4.2.2 Imagen 的演算法原理
4.2.3 文字編碼器：T5 vs CLIP
4.2.4 動態設定值策略
4.2.5 開放原始碼模型DeepFloyd
4.2.6 升級版Imagen 2
4.3 Stable Diffusion 影像變形
4.3.1 「圖生圖」vs 影像變形
4.3.2 使用Stable Diffusion 影像變形
4.3.3 探秘Stable Diffusion 影像變形模型背後的演算法原理
4.4 小結

第 5 章 Midjourney、SDXL 和DALL · E 3 的核心技術
5.1 推測Midjourney 的技術方案
5.1.1 Midjourney 的基本用法
5.1.2 各版本演化之路
5.1.3 技術方案推測
5.2 SDXL 的技術方案與使用
5.2.1 驚豔的繪圖能力
5.2.2 使用串聯模型提升效果
5.2.3 更新基礎模組
5.2.4 使用SDXL 模型
5.3 更「聽話」的DALL · E 3
5.3.1 體驗DALL · E 3 的功能
5.3.2 資料集重新描述
5.3.3 生成資料有效性
5.3.4 資料混合策略
5.3.5 基礎模組升級
5.3.6 擴散模型解碼器
5.3.7 演算法局限性
5.4 小結

第 6 章 訓練自己的Stable Diffusion
6.1 低成本訓練神器LoRA
6.1.1 LoRA 的基本原理
6.1.2 LoRA 的程式實現
6.1.3 用於影像生成任務
6.2 Stable Diffusion WebUI 體驗影像生成
6.2.1 本地AI 影像生成模型
6.2.2 開放原始碼社區中的模型
6.2.3 體驗AI 影像生成功能
6.2.4 將多個模型進行融合
6.2.5 靈活的LoRA 模型
6.3 Stable Diffusion 程式實戰
6.3.1 訓練資料準備
6.3.2 基礎模型的選擇與使用
6.3.3 一次完整的訓練過程
6.4 小結

 

序言
 
　　隨著人工智慧（Artificial Intelligence，AI）技術的高速發展，我們正在見證一場技術的革新，它正以前所未有的速度和規模重塑著我們的世界。在這場技術革新中，已經出現了很多具有代表性的人工智慧生成內容（Artificial Intelligence Generated Content，AIGC）產品，如ChatGPT 和Midjourney，它們不僅展示了AI 的強大能力，更開啟了人類與AI 協作創作的新紀元。
 
　　以本書要討論的AI 影像生成模型為例，無論是專業的藝術家還是業餘藝術同好，都可以利用Midjourney、DALL·E 等工具，透過簡單的提示語（Prompt，即文字描述）創作出精美的影像，將使用者的想像轉為具體的視覺呈現，極大地拓寬了創作的空間。與以往相比，我們不必深入學習繪畫技巧或花費大量時間學習影像處理軟體的使用方法，就能輕鬆創作出具有特定風格的藝術作品。
 
　　關於AI 影像生成模型，人們經常追問的問題可以總結為以下3 個。
 
　　• 為什麼Stable Diffusion 等AI 影像生成模型一出現， 生成對抗網路（Generative Adversarial Network，GAN）就黯然失色了？
 
　　• Midjourney 憑藉AI 影像生成取得了巨大成功，它可能採用了哪些獨特的演算法方案？
 
　　• 我能否訓練一個自己專屬的AI 影像生成模型，隨心所欲地生成富有創意的內容？
 
　　本書將和讀者一同揭開這些問題的答案，探索AI 影像生成技術的奧秘。
 
　　本書旨在介紹AI 影像生成模型的核心技術和實踐技巧，既適合AI 影像生成領域的從業者，尤其是軟體開發人員、產品經理閱讀，也適合對AI 影像生成感興趣的科學研究人員和電腦相關專業的學生閱讀。
 
　　本書將從深度學習的基礎知識開始講解，探討影像生成技術從GAN 到擴散模型的技術演化，分析Stable Diffusion 模型背後的演算法原理，解讀DALL·E 系列、Midjourney 系列、SDXL 等模型背後的技術方案，並展望AI影像生成模型未來的發展趨勢。本書包含大量範例程式和使用AI 影像生成模型生成的插圖，將幫助讀者在感受AI 影像生成模型的強大功能的同時，深入理解影像生成技術的理論基礎，並能夠將所學知識應用於實際的AI 影像生成專案。
 
　　最後，我要對所有支援本書的人表示深深的感謝，特別要感謝人民郵電出版社的編輯和極客時間平臺的工作人員。他們的專業指導、資源支援和不懈努力對本書的完成有著至關重要的作用。我還要感謝選擇本書的讀者，希望你們能夠學有所得。
 
　　願我們的AI 影像生成之旅充滿啟發和創造力！