機器學習聖經：最完整的統計學習方法

【第二版序言】
本書第1版於2012年出版，說明了統計機器學習方法，主要是一些常用的監督學習方法。第2版增加了一些常用的無監督學習方法，由此本書涵蓋了傳統統計機器學習方法的主要內容。

在撰寫《統計學習方法》伊始，對全書內容做了初步規劃。第1版出版之後，即著手無監督學習方法的寫作。由於寫作是在業餘時間進行，常常被主要工作打斷，歷經六年多時間才使這部分工作得以完成。猶未能加入深度學習和強化學習等重要內容，希望今後能夠增補，完成整本書的寫作計畫。

《統計學習方法》第1版的出版正值巨量資料和人工智慧的熱潮，生逢其時，截至2019年4月本書共印刷25次，152000冊，獲得了讀者們的歡迎和支持。有許多讀者指出本書對學習和掌握機器學習技術有極大的幫助，也有許多讀者透過電子郵件、微博等方式指出書中的錯誤，提出改進的建議和意見。一些大專院校將本書作為機器學習課程的教材或參考書。有的同學在網上發表了讀書筆記，有的同學將本書介紹的方法在電腦上實現。清華大學深圳研究所學生院袁春老師精心製作了第1版十二章的教材，在網上公佈，為大家提供教學之便。許多老師、同學、讀者的支持和鼓勵，讓作者深受感動和鼓舞。在這裡向所有的老師、同學、讀者致以誠摯的謝意！
能為電腦科學、人工智慧領域做出一點微薄的貢獻，感到由衷的欣慰，同時也感受到作為知識傳播者的重大責任，讓作者決意把本書寫好。也希望大家今後不吝指教，多提寶貴意見，以幫助繼續提高本書的品質。在寫作中作者也深切體會到教學相長的道理，經常發現自己對基礎知識的掌握不夠紮實，透過寫作得以對相關知識進行了深入的學習，受益匪淺。

本書是一部機器學習的基本讀物，要求讀者擁有高等數學、線性代數和機率統計的基礎知識。書中主要說明統計機器學習的方法，力求系統全面又簡明扼要地闡述這些方法的理論、演算法和應用，讓讀者能對這些機器學習的基本技術有很好的掌握。針對每個方法，詳細介紹其基本原理、基礎理論、實際演算法，舉出細緻的數學推導和具體實例，既幫助讀者理解，也便於日後複習。

第2版增加的無監督學習方法，王泉、陳嘉怡、柴琛林、趙程綺等幫助做了認真細緻的校閱，提出了許多寶貴意見，在此謹對他們表示衷心的感謝。清華大學出版社的薛慧編輯一直對本書的寫作給予非常專業的指導和幫助，在此對她表示衷心的感謝！

由於本人水準有限，本書一定存在不少錯誤，懇請各位專家、老師和同學批評指正。
李航

【第一版序言】
電腦與網路已經融入人們的日常學習、工作和生活之中，成為人們不可或缺的幫手和夥伴。電腦與網路的高速發展完全改變了人們的學習、工作和生活方式。智慧化是電腦研究與開發的主要目標。近幾十年來的實踐表明，統計機器學習方法是實現這一目標的最有效手段，儘管它還會有著一定的局限性。

本人一直從事利用統計學習方法對文字資料進行各種智慧性處理的研究，包括自然語言處理、資訊檢索、文字資料探勘。近20年來，這些領域發展之快，應用之廣，實在令人驚歎！可以說，統計機器學習是這些領域的核心技術，在這些領域的發展及應用中起著決定性的作用。

本人在日常的研究工作中經常指導學生，並在國內外一些大學及講習班上多次做過關於統計學習的報告和演講。在這一過程中，同學們學習熱情很高，希望得到指導，這使作者產生了撰寫本書的想法。

國內外已出版了多本關於統計機器學習的書籍，比如，Hastie等人的《統計學習基礎》，該書對統計學習的諸多問題有非常精闢的論述，但對初學者來說顯得有些深奧。統計學習範圍甚廣，一兩本書很難覆蓋所有問題。本書主要是面向將統計學習方法作為工具導向的科學研究人員與學生，特別是從事資訊檢索、自然語言處理、文字資料探勘及相關領域的研究與開發的科學研究人員與學生。

本書力求系統而詳細地介紹統計學習的方法。在內容選取上，偏重介紹那些最重要、最常用的方法，特別是關於分類與標注問題的方法。對其他問題及方法，如聚類等，計畫在今後的寫作中再加以介紹。在敘述方式上，每一章說明一種方法，各章內容相對獨立、完整；同時力圖用統一框架來論述所有方法，使全書整體不失系統性，讀者可以從頭到尾通讀，也可以選擇單一章節細讀。對每一種方法的說明力求深入淺出，舉出必要的推導證明，提供簡單的實例，使初學者易於掌握該方法的基本內容，領會方法的本質，並準確地使用方法。對相關的深層理論，則予以簡述。在每章後面，舉出一些習題，介紹一些相關的研究動向和閱讀材料，列出參考文獻，以滿足讀者進一步學習的需求。本書第1章簡要敘述統計學習方法的基本概念，最後一章對統計學習方法進行比較與複習。此外，在附錄中簡介一些共用的最佳化理論與方法。

本書可以作為統計機器學習及相關課程的教學參考書，適用於資訊檢索及自然語言處理等專業的大學生、研究所學生。

本書初稿完成後，田飛、王佳磊、武威、陳凱、伍浩鋮、曹正、陶宇等人分別審閱了全部或部分章節，提出了許多寶貴意見，對本書品質的提高有很大幫助，在此向他們表示衷心的感謝。在本書寫作和出版過程中，清華大學出版社的責任編輯薛慧給予了很多幫助，在此特向她致謝。
由於本人水準所限，書中難免有錯誤和不當之處，歡迎各位專家和讀者給予批評指正。

【第二版序言】
本書第1版於2012年出版，說明了統計機器學習方法，主要是一些常用的監督學習方法。第2版增加了一些常用的無監督學習方法，由此本書涵蓋了傳統統計機器學習方法的主要內容。

在撰寫《統計學習方法》伊始，對全書內容做了初步規劃。第1版出版之後，即著手無監督學習方法的寫作。由於寫作是在業餘時間進行，常常被主要工作打斷，歷經六年多時間才使這部分工作得以完成。猶未能加入深度學習和強化學習等重要內容，希望今後能夠增補，完成整本書的寫作計畫。

《統計學習方法》第1版的出版正值巨量資料和人工智慧的熱潮，...

第1篇 監督學習
Chapter 01 統計學習及監督學習概論
1.1 統計學習
1.2 統計學習的分類
1.3 統計學習方法三要素
1.4 模型評估與模型選擇
1.5 正則化與交叉驗證
1.6 泛化能力
1.7 生成模型與判別模型
1.8 監督學習應用

Chapter 02 感知機
2.1 感知機模型
2.2 感知機學習策略
2.3 感知機學習演算法

Chapter 03 k近鄰法
3.1 k近鄰演算法
3.2 k近鄰模型
3.3 k近鄰法的實現：kd樹

Chapter 04 單純貝氏法
4.1 單純貝氏法的學習與分類
4.2 單純貝氏法的參數估計

Chapter 05 決策樹
5.1 決策樹模型與學習
5.2 特徵選擇
5.3 決策樹的生成
5.4 決策樹的剪枝
5.5 CART演算法

Chapter 06 邏輯回歸與最大熵模型
6.1 邏輯回歸模型
6.2 最大熵模型
6.3 模型學習的最佳化演算法

Chapter 07 支持向量機
7.1 線性可分支持向量機與硬間隔最大化
7.2 線性支持向量機與軟間隔最大化
7.3 非線性支持向量機與核函數
7.4 序列最小最佳化演算法

Chapter 08 提升方法
8.1 提升方法AdaBoost演算法
8.2 AdaBoost演算法的訓練誤差分析
8.3 AdaBoost演算法的解釋
8.4 提升樹

Chapter 09 EM演算法及其推廣
9.1 EM演算法的引入
9.2 EM演算法的收斂性
9.3 EM演算法在高斯混合模型學習中的應用
9.4 EM演算法的推廣

Chapter 10 隱馬可夫模型
10.1 隱馬可夫模型的基本概念
10.2 機率計算演算法
10.3 學習演算法
10.4 預測演算法

Chapter 11 條件隨機場
11.1 機率無向圖模型
11.2 條件隨機場的定義與形式
11.3 條件隨機場的機率計算問題
11.4 條件隨機場的學習演算法
11.5 條件隨機場的預測演算法

Chapter 12 監督學習方法總結

第2篇 無監督學習
Chapter 13 無監督學習概論
13.1 無監督學習基本原理
13.2 基本問題
13.3 機器學習三要素
13.4 無監督學習方法

Chapter 14 聚類方法
14.1 聚類的基本概念
14.2 層次聚類
14.3 k均值聚類

Chapter 15 奇異值分解
15.1 奇異值分解的定義與性質
15.2 奇異值分解的計算
15.3 奇異值分解與矩陣近似

Chapter 16 主成分分析
16.1 整體主成分分析
16.2 樣本主成分分析

Chapter 17 潛在語義分析
17.1 單字向量空間與話題向量空間
17.2 潛在語義分析演算法
17.3 非負矩陣分解演算法

Chapter 18 機率潛在語義分析
18.1 機率潛在語義分析模型
18.2 機率潛在語義分析的演算法

Chapter 19 馬可夫鏈蒙地卡羅法
19.1 蒙地卡羅法
19.2 馬可夫鏈
19.3 馬可夫鏈蒙地卡羅法
19.4 Metropolis-Hastings演算法
19.5 吉布斯抽樣

Chapter 20 潛在狄利克雷分配
20.1 狄利克雷分佈
20.2 潛在狄利克雷分配模型
20.3 LDA的吉布斯抽樣演算法
20.4 LDA的變分EM演算法

Chapter 21 PageRank演算法
21.1 PageRank的定義
21.2 PageRank的計算

Chapter 22 無監督學習方法總結
22.1 無監督學習方法的關係和特點
22.2 話題模型之間的關係和特點

Appendix A 梯度下降法
Appendix B 牛頓法和擬牛頓法
Appendix C 拉格朗日對偶性
Appendix D 矩陣的基本子空間
Appendix E KL散度的定義和狄利克雷分佈的性質
Appendix F 索引

第1篇 監督學習
Chapter 01 統計學習及監督學習概論
1.1 統計學習
1.2 統計學習的分類
1.3 統計學習方法三要素
1.4 模型評估與模型選擇
1.5 正則化與交叉驗證
1.6 泛化能力
1.7 生成模型與判別模型
1.8 監督學習應用

Chapter 02 感知機
2.1 感知機模型
2.2 感知機學習策略
2.3 感知機學習演算法

Chapter 03 k近鄰法
3.1 k近鄰演算法
3.2 k近鄰模型
3.3 k近鄰法的實現：kd樹

Chapter 04 單純貝氏法
4.1 單純貝氏法的學習與分類
4.2 單純貝氏法的參數估計

Chapter 05 決策樹
5.1 決策樹模型與學習
5.2 特徵選...