越賣越多的祕密 - 使用LLM實作推薦系統及演算法

自2022 年11 月30 日OpenAI 發佈ChatGPT 以來，大模型技術掀起了新一輪人工智慧浪潮。ChatGPT 在各個領域（如人機對話、文字摘要、內容生成、問題解答、識圖、數學計算、程式撰寫等）獲得了比之前演算法好得多的成績，在很多方面超越了人類專家的水準，特別是人機對話具備了一定的共情能力，這讓AI 領域的從業者和普通大眾相信通用人工智慧（Artificial General Intelligence，AGI）時代馬上就要來臨了。
大模型除了對話能力達到了真正可以互動的水準，更厲害的是當模型參數達到一定規模（100B 以上）時，會湧現新的能力，即大模型具備舉一反三、任務分解、邏輯推理、解決未知任務的能力，這在之前的機器學習範式中是從未出現過的。之前的機器學習模型都是為某個具體任務建構的，只能完成特定的任務，對於新任務，必須訓練新的機器學習模型。
最近7~8 年，沒有哪一項科技進步如ChatGPT 這般吸引全球的目光。除了媒體的大肆報導，國內外各類科技公司、科學研究機構、高等院校也在跟進大模型技術，基於大模型的創業公司如雨後春筍般層出不窮。
不到一年時間，國外就湧現了上百家大模型應用的創業公司，做得優秀的如Midjourney、Runway、Inflection AI、Anthropic 等， 都獲得了上億甚至幾十億美金的融資，估值達數十億、上百億美金。此外，一系列優秀的大模型相繼被發佈，如Anthropic 的Claude、Google 的Bard、Meta 的LLaMA 等。
中國大陸也不甘落後，各個大廠、創業公司、科學研究院校相繼發佈了大模型產品，如智譜AI 的ChatGLM、百度的文心一言、華為雲的盤古大模型、阿里雲的通義千問、科大訊飛的星火大模型等，也有不少「大佬」親自下場做大模型。
以ChatGPT 為核心的大模型相關技術，可以應用於搜尋、對話、內容創作等許多領域。在推薦系統領域的應用也不例外，在這方面已經有廣泛的學術研究，學術界發表了大量的相關論文。我相信，在不久的將來（2024 年—2025年），大模型相關技術會在工業界被大量用於推薦系統，並成為推薦系統的核心技術，就像2016 年開始的深度學習技術對推薦系統的革新一樣。
ChatGPT 和大模型相關技術不能被任何人、任何行業忽視，它在各行各業一定會呈現「爆發式」的發展。從2023 年年初開始，我一直關注大模型相關技術的進展及其在行業上的應用，特別是在推薦系統領域的應用。在幾乎每天都有大模型相關重磅突破發佈的當下，我們必須跟上技術發展的步伐。為此，我花了近一年的時間寫了這本書，希望能拋磚引玉，為普及、推廣大模型在推薦系統上的應用發揮作用。
在開啟我們的學習之旅前，我先用非常直白、淺顯的方式來簡單說明為什麼大模型能應用於推薦系統，有了這個基礎認識，我相信你可以更進一步地學習本書中的知識。
本書需要讀者具備一定的背景知識。舉例來說，熟悉推薦系統、有一定的程式設計能力，如果了解NLP 就更好了。讀者如果在學習過程中發現對某個基礎知識不熟悉，可以自行補充學習。
大模型在底層建構Transformer 架構，透過巨量的網際網路文字資訊預測下一個token出現的機率來預訓練模型。由於有巨量的網際網路文字資料，模型的預訓練過程不需要人工標注（但需要對資料進行前置處理），一旦模型完成預訓練，就可以用於語言理解和語言生成任務。簡單來說，大模型基於巨量文字中的token 序列中下一個token 出現的機率進行統計建模，透過學習在替定語言部分後出現下一個token 的機率來完成下游任務（例如文字摘要、翻譯、生成文字等）。
對於推薦系統，使用者過往的操作就是一個有序的序列，每個使用者的操作序列就像一篇文字，所有使用者的操作序列就像大模型的預訓練語料庫，預測使用者下一個操作就像預測詞序列的下一個token。透過這個簡單的類比，我們知道推薦系統可以被嵌入大模型的理論框架中。因此，直觀地看，大模型一定可以用於解決推薦系統問題。
上面的想法比較簡單，只用到了使用者與物品的互動資訊。實際上，推薦系統的資料來源更複雜，除了使用者歷史互動序列，還有人物誌、物品畫像資訊等。部分人物誌、物品畫像資訊，例如使用者的年齡、性別、偏好等，物品的標題、標籤、描述文字等，可以利用自然語言來呈現，使用者歷史互動序列、人物誌、物品畫像等資訊都可以被輸入大模型，為大模型提供更多的背景知識，最終的推薦結果會更加精準。
推薦系統涉及很多多模態資料，例如物品有描述文字、圖片，甚至視訊介紹等，這類異質的資訊對於推薦系統的效果相當重要。多模態資料可以被轉化為文字資訊供大模型使用，目前的多模態大模型可以直接處理多模態資料，因此也可以直接用於推薦系統。
目前，即使不使用圖片、視訊等多模態資料，利用好文字資料也能讓大模型很強大。大模型的強大之處是具備zero-shot、few-shot 的能力，很多推薦機制都利用了大模型的這個能力，只不過需要在使用大模型的過程中設計一些提示詞（prompt）和範本（template）來啟動大模型的推薦能力。
說一下我個人對啟動的理解。大模型有上百億、上千億，甚至上兆個參數，是一個非常龐大的神經網路。當用一些提示詞告訴大模型作為推薦系統進行個性化推薦時，就啟動了深度神經網路中的某些連接，這些連接是神經網路的某個子網路，而這個子網路具備進行個性化推薦的能力，這個過程非常類似人類大腦神經元的工作機制。例如當你看到美食時，就會啟動大腦中負責進食的區域，這個區域是大腦整個複雜神經元網路的子網路，導致可能產生流口水、吞咽等行為，這裡「看到美食」就類似大模型的提示詞。另外，我們在進行腦力激盪時，突然被別人啟發想到某個絕妙的創意也是一種啟動過程。few-shot 更複雜一些，需要在提示詞中告訴大模型一些過往的推薦案例，例如使用者看了A、B、C 三個視訊後，會看另一個視訊D，讓它臨時學習如何推薦。
提示詞學習沒有改變大模型的參數，即沒有進行梯度下降的反向傳播訓練，但為什麼具備zero-shot、few-shot 的能力呢？提示詞作為一個整體，啟動了大模型神經網路的某個功能區域。大模型具備多輪對話能力的道理也是類似的，我們可以將多輪對話作為一個整體，這個整體啟動了大模型在某個對話主題下的功能區域，導致大模型能「記住」多輪對話之前的資訊。由於目前的大模型不具備增量學習⑧的能力，對話完成後，對話中的新資訊並沒有被大模型學習到。
除了直接利用大模型的zero-shot、few-shot 能力進行推薦，我們還可以按照大模型的輸入、輸出範式準備推薦系統的相關資料，然後透過監督學習微調大模型，讓大模型更進一步地調配具體的推薦場景，這也是將大模型應用於推薦系統的非常有價值的方向。
另外，大模型壓縮的世界知識、大模型的湧現能力、大模型的自然對話能力都可以極佳地被用於推薦系統，解決深度學習推薦系統很難解決的問題，下面舉兩個例子說明。
首先，大模型有助緩解資料稀疏問題，特別是冷開機問題，這是當前深度學習推薦系統的主要瓶頸。透過從在不同模型架構中學習的預訓練模型中提取和遷移知識，可以提高推薦系統的通用性、稀疏性、效率和有效性等性能。
其次，大模型一個很大的優勢是可以利用對話的方式跟使用者互動，就像ChatGPT 所呈現的那樣。如果能將推薦系統設計成一個跟使用者互動的對話式推薦引擎，那麼大模型可以利用自然語言回應使用者的個性化需求，從而提升使用者的整體體驗和參與度。
透過前面的介紹，相信你已經大致知道為什麼大模型可以被應用於推薦系統了，也知道了將大模型應用於推薦系統的獨特優勢，那麼如何將大模型應用於推薦系統呢？這就是本書的核心內容，你將從這本書中找到答案。

自2022 年11 月30 日OpenAI 發佈ChatGPT 以來，大模型技術掀起了新一輪人工智慧浪潮。ChatGPT 在各個領域（如人機對話、文字摘要、內容生成、問題解答、識圖、數學計算、程式撰寫等）獲得了比之前演算法好得多的成績，在很多方面超越了人類專家的水準，特別是人機對話具備了一定的共情能力，這讓AI 領域的從業者和普通大眾相信通用人工智慧（Artificial General Intelligence，AGI）時代馬上就要來臨了。
大模型除了對話能力達到了真正可以互動的水準，更厲害的是當模型參數達到一定規模（100B 以上）時，會湧現新的能力，即大模型具備舉...

▌第1章 基礎知識
1.1 大模型相關資源
1.1.1 可用的模型及API
1.1.2 資料資源
1.1.3 軟體資源
1.1.4 硬體資源
1.2 大模型預訓練
1.2.1 資料收集與前置處理
1.2.2 確定模型架構
1.2.3 確定目標函式及預訓練
1.2.4 解碼策略
1.3 大模型微調
1.3.1 微調原理
1.3.2 指令微調
1.3.3 對齊微調
1.4 大模型線上學習
1.4.1 提示詞
1.4.2 上下文學習
1.4.3 思維鏈提示詞
1.4.4 規劃
1.5 大模型推理
1.5.1 高效推理技術
1.5.2 高效推理軟體工具
1.6 總結

▌第2章 資料準備與開發環境準備
2.1 MIND 資料集介紹
2.2 Amazon 電子商務資料集介紹
2.3 開發環境準備
2.3.1 架設CUDA 開發環境
2.3.2 架設MacBook 開發環境
2.4 總結

▌第3章 大模型推薦系統的資料來源、一般想法和4 種範式
3.1 大模型推薦系統的資料來源
3.1.1 大模型相關的資料
3.1.2 新聞推薦系統相關的資料
3.1.3 將推薦資料編碼為大模型可用資料
3.2 將大模型用於推薦的一般想法
3.3 將大模型應用於推薦的4 種範式
3.3.1 基於大模型的生成範式
3.3.2 基於PLM 的預訓練範式
3.3.3 基於大模型的微調範式
3.3.4 基於大模型的直接推薦範式
3.4 總結

▌第4章 生成範式：大模型生成特徵、訓練資料與物品
4.1 大模型生成嵌入特徵
4.1.1 嵌入的價值
4.1.2 嵌入方法介紹
4.2 大模型生成文字特徵
4.2.1 生成文字特徵
4.2.2 生成文字特徵的其他方法
4.3 大模型生成訓練資料
4.3.1 大模型直接生成表格類資料
4.3.2 大模型生成監督樣本資料
4.4 大模型生成待推薦物品
4.4.1 為使用者生成個性化新聞
4.4.2 生成個性化的視訊
4.5 總結

▌第5章 預訓練範式：透過大模型預訓練進行推薦
5.1 預訓練的一般想法和方法
5.1.1 預訓練資料準備
5.1.2 大模型架構選擇
5.1.3 大模型預訓練
5.1.4 大模型推理（用於推薦）
5.2 案例講解
5.2.1 基於PTUM 架構的預訓練推薦系統
5.2.2 基於P5 的預訓練推薦系統
5.3 基於MIND 資料集的程式實戰
5.3.1 預訓練資料集準備
5.3.2 模型預訓練
5.3.3 模型推理與驗證
5.4 總結

▌第6章 微調範式：微調大模型進行個性化推薦
6.1 微調的方法
6.1.1 微調的價值
6.1.2 微調的步驟
6.1.3 微調的方法
6.1.4 微調的困難與挑戰
6.2 案例講解
6.2.1 TALLRec 微調框架
6.2.2 GIRL：基於人類回饋的微調框架
6.3 基於MIND 資料集實現微調
6.3.1 微調資料準備
6.3.2 模型微調
6.3.3 模型推斷
6.4 總結

▌第7章 直接推薦範式：利用大模型的上下文學習進行推薦
7.1 上下文學習推薦基本原理
7.2 案例講解
7.2.1 LLMRank 實現案例
7.2.2 多工實現案例
7.2.3 NIR 實現案例
7.3 上下文學習推薦程式實現
7.3.1 資料準備
7.3.2 程式實現
7.4 總結

▌第8章 實戰案例：大模型在電子商務推薦中的應用
8.1 大模型賦能電子商務推薦系統
8.2 新的互動式推薦範式
8.2.1 互動式智慧體的架構
8.2.2 淘寶問問簡介
8.3 大模型生成使用者興趣畫像
8.3.1 基礎原理與步驟介紹
8.3.2 資料前置處理
8.3.3 程式實現
8.4 大模型生成個性化商品描述資訊
8.4.1 基礎原理與步驟介紹
8.4.2 資料前置處理
8.4.3 程式實現
8.5 大模型應用於電子商務猜你喜歡推薦
8.5.1 資料前置處理
8.5.2 模型微調
8.5.3 模型效果評估
8.6 大模型應用於電子商務連結推薦
8.6.1 資料前置處理
8.6.2 多路召回實現
8.6.3 相似度排序實現
8.6.4 排序模型效果評估
8.7 大模型如何解決電子商務冷啟動問題
8.7.1 資料準備
8.7.2 利用大模型生成冷啟動商品的行為樣本
8.7.3 利用大模型上下文學習能力推薦冷啟動商品
8.7.4 模型微調
8.7.5 模型效果評估
8.8 利用大模型進行推薦解釋，提升推薦說服力
8.8.1 資料準備
8.8.2 利用大模型上下文學習能力進行推薦解釋
8.8.3 模型微調
8.8.4 模型效果評估
8.9 利用大模型進行對話式推薦
8.9.1 對話式大模型推薦系統的架構
8.9.2 資料準備
8.9.3 程式實現
8.9.4 對話式推薦案例
8.10 總結

▌第9章 專案實踐：大模型落地真實業務場景
9.1 大模型推薦系統如何進行高效預訓練和推理
9.1.1 模型高效訓練
9.1.2 模型高效推理
9.1.3 模型服務部署
9.1.4 硬體選擇建議
9.2 大模型落地企業級推薦系統的思考
9.2.1 如何將推薦演算法嵌入大模型框架
9.2.2 大模型特性給落地推薦系統帶來的挑戰
9.2.3 大模型相關的技術人才匱乏
9.2.4 大模型推薦系統與傳統推薦系統的關係
9.2.5 大模型推薦系統的投資回報率分析
9.2.6 大模型落地推薦場景的建議
9.3 總結

▌後記

▌第1章 基礎知識
1.1 大模型相關資源
1.1.1 可用的模型及API
1.1.2 資料資源
1.1.3 軟體資源
1.1.4 硬體資源
1.2 大模型預訓練
1.2.1 資料收集與前置處理
1.2.2 確定模型架構
1.2.3 確定目標函式及預訓練
1.2.4 解碼策略
1.3 大模型微調
1.3.1 微調原理
1.3.2 指令微調
1.3.3 對齊微調
1.4 大模型線上學習
1.4.1 提示詞
1.4.2 上下文學習
1.4.3 思維鏈提示詞
1.4.4 規劃
1.5 大模型推理
1.5.1 高效推理技術
1.5.2 高效推理軟體工具
1.6 總結

▌第2章 資料準備與開發環境準備
2.1 MIND 資料集介紹
2.2 Amazon...