購物比價找書網找車網
FindBook
排序:
 
 有 1 項符合

桂韜

的圖書
圖書介紹 - 資料來源:TAAZE 讀冊生活   評分:
圖書名稱:LLM走進你的電腦 - 自己動手開發大型語言模型應用

本書共分四部分,第一部分詳細介紹大型語言模型的基礎理論知識,包括語言模型的定義、Transformer 結構,以及大型語言模型框架等內容,並以 LLaMA 所採用的模型結構為例的程式碼。
第二部分主要介紹預訓練的相關內容,包括在模型分散式訓練中需要掌握的資料平行、流水線並行和模型平行等技術也介紹了ZeRO 最佳化,介紹預訓練資料分佈和資料預處理,以DeepSpeed 為例,介紹大型語言模型的預訓練。
第三部分為大型語言模型在指令理解,如何在基礎模型的基礎上利用有監督微調和強化學習方法,理解指令並給出回答,包括高效微調方法、有監督微調資料構造方法、強化學習基礎和近端策略優化方法,並以 DeepSpeed-Chat和 MOSS-RLHF 為例訓練類 ChatGPT 系統。
第四部分重點介紹了大型語言模型的擴充應用和評估。包括與外部工具和知識源連接的LangChain 技術。

【本書看點】
●LLM基礎,包括GPT、Transformer、LLAMA
●常用的模型倉庫Huggingface的介紹
●LLM的預訓練資料的介紹及整理
●多GPU分散式訓練的基礎及實作
●SFT有監督微調的應用實例及基礎,包括LORA、PEFT
●強化學習在LLM中的應用,包括獎勵模型及PPO
●LLM的應用,包括COT及LLM瑞士刀LangChain
●用科學方式來評估LLM的能力

作者簡介:

張奇
復旦大學電腦科學技術學院教授、博士生導師。主要研究方向是自然語言處理和資訊檢索。兼任中國中文資訊學會理事,中國中文資訊學會資訊檢索專委會常務委員,中國人工智慧學會青年工作委員會常務委員。多次擔任ACL、EMNLP、COLING、全國資訊檢索大會等重要國際、國內會議的程式委員會主席、領域主席、講習班主席等。承擔國家重點研發計畫課題、國家自然科學基金、上海市科委等多個專案,在國際重要學術刊物和會議上發表論文150餘篇,獲得美國授權專利4項。獲得WSDM 2014最佳論文提名獎、COLING 2018領域主席推薦獎、NLPCC 2019傑出論文獎、COLING 2022傑出論文獎。獲得上海市「晨光計畫」人才計畫、復旦大學「卓越2025」人才培育計畫等支持,獲得錢偉長中文資訊處理科學技術一等獎、漢王青年創新一等獎、上海市科技進步二等獎、ACM上海新星提名獎、IBM Faculty Award等獎項。

桂韜
復旦大學自然語言處理實驗室副研究員、碩士生導師。研究領域為預訓練模型、資訊抽取和魯棒模型。在高水準國際學術期刊和會議上發表論文40餘篇,主持國家自然科學基金、電腦學會、人工智慧學會的多個基金項目。獲得錢偉長中文資訊處理科學技術一等獎、中國中文資訊學會優秀博士論文獎、COLING 2018最佳論文提名獎、NLPCC 2019傑出論文獎,入選第七屆中國科協青年人才托舉工程,入選上海市2023年度“科技創新行動計畫”啟明星專案,獲得2023年度世界人工智慧大會雲帆獎。

鄭銳
復旦大學電腦科學技術學院博士生,導師為張奇教授。研究興趣包括大模型對齊、魯棒性等。MOSS-RLHF開源專案負責人,文本魯棒性評測工具TextFlint的核心貢獻者,在ACL、EMNLP、COLING等國際會議上發表學術論文十餘篇。

黃萱菁
復旦大學電腦科學技術學院教授、博士生導師。主要從事人工智慧、自然語言處理和資訊檢索研究。兼任中國中文資訊學會理事,中國電腦學會自然語言處理專委會副主任,中國人工智慧學會女科技工作者委員會副主任,計算語言學學會亞太分會副主席,亞太資訊檢索學會指導委員會委員。承擔國家重點研發計畫課題、國家自然科學基金等多個專案,在國際重要學術刊物和會議上發表論文180餘篇。獲得錢偉長中文資訊處理科學技術一等獎、上海市育才獎、人工智慧全球女性學者、福布斯中國科技女性等多項榮譽。

作者序
緣起

2018 年,Google 的研究團隊創新地提出了預訓練語言模型 BERT[1] ,該模型在諸多自然語言處理任務中展現出卓越的性能。這激發了大量以預訓練語言模型為基礎的自然語言處理研究,也引領了自然語言處理領域的預訓練範式。雖然這一變革影響深遠,但它並沒有改變每個模型只能解決特定問題的基本模式。2020 年,OpenAI 發佈了 GPT-3 模型,其在文字生成任務上的能力令人印象深刻,並在許多少標注的自然語言處理任務上獲得了優秀的成績。但是,其性能並未超越針對單一任務訓練的有監督模型。之後,研究人員陸續提出了針對大規模語言模...
顯示全部內容
目錄
第 1 章 緒論
1.1 大型語言模型的基本概念
1.2 大型語言模型的發展歷程
1.3 大型語言模型的建構流程
1.4 本書的內容安排

第 2 章 大型語言模型基礎
2.1 Transformer 結構
2.2 生成式預訓練語言模型 GPT
2.3 大型語言模型的結構
2.4 實踐思考

第 3 章 大型語言模型預訓練資料
3.1 資料來源
3.2 資料處理
3.3 資料影響分析
3.4 開放原始碼資料集
3.5 實踐思考

第 4 章 分散式訓練
4.1 分散式訓練概述
4.2 分散式訓練的平行策略
4.3 分散式訓練的叢集架構
4.4 DeepSpeed 實踐
4.5 實踐思考

第 5 章 有監督...
顯示全部內容
贊助商廣告
 
金石堂 - 今日66折
品格教育繪本 情緒教育:精選繪本套書 (18冊入)
作者:喬尼.蘭伯特、納迪亞.希琳
出版社:東雨文化
出版日期:2024-04-22
66折: $ 3953 
金石堂 - 今日66折
成語就是這樣讀和寫--看成語笑話拚字音字形競賽
作者:呂淑敏
出版社:五南圖書出版股份有限公司
出版日期:2017-03-25
66折: $ 251 
 
金石堂 - 暢銷排行榜
月之圓缺與獸相戀(全)
作者:野白ぐり
出版社:青文出版社股份有限公司
出版日期:2024-07-15
$ 119 
博客來 - 暢銷排行榜
尋找安全的家:結構技師蔡榮根教你選好宅
作者:蔡榮根
出版社:天下文化
出版日期:2024-10-30
$ 355 
金石堂 - 暢銷排行榜
素食者【亞洲首部榮獲國際曼布克獎作品】
作者:韓江
出版社:漫遊者
出版日期:2023-05-08
$ 300 
 
博客來 - 新書排行榜
神奇柑仔店18:紅子與錢天堂的起點
作者:廣嶋玲子
出版社:親子天下
出版日期:2024-10-31
$ 284 
博客來 - 新書排行榜
多謝款待:那些愛與被愛的煙火氣【博客來獨家書封贈品版】
作者:張曼娟
出版社:皇冠
出版日期:2024-11-04
$ 300 
Taaze 讀冊生活 - 新書排行榜
超實用!Word.Excel.PowerPoint辦公室Office 365省時高手必備50招(第四版)
作者:張雯燕
出版社:博碩文化股份有限公司
出版日期:2024-10-02
$ 420 
Taaze 讀冊生活 - 新書排行榜
重點:99%的訊息都是雜訊!瞬間獲取注意力的最強溝通法則
作者:史帝夫.伍德拉夫
出版社:聯經出版事業股份有限公司
出版日期:2024-11-14
$ 266 
 

©2024 FindBook.com.tw -  購物比價  找書網  找車網  服務條款  隱私權政策