打好AI的基礎：一探機器學習底層數學運作

01 一元函數微積分
1.1 極限與連續
1.2 導數與微分
1.3 微分均值定理
1.4 泰勒公式
1.5 不定積分
1.6 定積分
1.7 常微分方程

02 線性代數與矩陣論
2.1 向量及其運算
2.2 矩陣及其運算
2.3 行列式
2.4 線性方程組
2.5 特徵值與特徵向量
2.6 二次型
2.7 矩陣分解

03 多元函數微積分
3.1 偏導數
3.2 梯度與方向導數
3.3 漢森矩陣
3.4 雅可比矩陣
3.5 向量與矩陣求導
3.6 微分演算法
3.7 泰勒公式
3.8 多重積分
3.9 無窮級數

04 最佳化方法
4.1 基本概念
4.2 一階最佳化演算法
4.3 二階最佳化演算法
4.4 分治法
4.5 凸最佳化問題
4.6 帶約束的最佳化問題
4.7 多目標最佳化問題
4.8 泛函數極值與變分法
4.9 目標函數的建構

05 機率論
5.1 隨機事件與機率
5.2 隨機變數
5.3 常用機率分佈
5.4 分佈轉換
5.5 隨機向量
5.6 極限定理
5.7 參數估計
5.8 隨機演算法
5.9 取樣演算法

06 資訊理論
6.1 熵與聯合熵
6.2 交叉熵
6.3 Kullback-Leibler 散度
6.4 Jensen-Shannon 散度
6.5 相互資訊
6.6 條件熵
6.7 歸納

07 隨機過程
7.1 馬可夫過程
7.2 馬可夫鏈取樣演算法
7.3 高斯過程

08 圖論
8.1 圖的基本概念
8.2 許多特殊的圖
8.3 重要的演算法
8.4 譜圖理論


 

序

　　自2012 年以來，隨著深度學習與強化學習的興起，機器學習與人工智慧成為科技領域熱門的話題。越來越多的在校生與在職人員開始學習這些知識。然而，機器學習（包括深度學習與強化學習）對數學有較高的要求。

　　不少數學知識（如最佳化方法、矩陣論、資訊理論、隨機過程、圖論）超出了理工科大學和研究所學生的學習範圍。即使對於理工科學生學習過的微積分、線性代數與機率論，機器學習中所用到的不少知識也超出了大學的教學範圍。看到書或論文中的公式和理論而不知其意，是很多讀者面臨的一大難題。

　　本書的目標是為讀者學好機器學習打下堅實的數學基礎，用最小的篇幅精準地覆蓋機器學習所需的數學知識系統。全書由8 章組成，包括一元函數微積分、線性代數與矩陣論、多元函數微積分、最佳化方法、機率論、資訊理論、隨機過程、圖論。對章節的順序與結構安排，作者有細緻的考量。

　　第1 章介紹一元函數微積分的核心知識，包括有關基礎知識、一元函數微分學、一元函數積分學，以及常微分方程，它們是瞭解後面各章的基礎。第2 章介紹線性代數與矩陣論的核心知識，包括向量與矩陣、行列式、線性方程組、矩陣的特徵值與特徵向量、二次型，以及矩陣分解，它們是學習多元函數微積分、最佳化方法、機率論，以及圖論等知識的基礎。第3 章介紹多元函數微積分，包括多元函數微分、多元函數積分，以及無窮級數。第4 章介紹最佳化方法，偏重於連續最佳化問題，包括各種數值最佳化演算法、凸最佳化問題、帶約束的最佳化問題、多目標最佳化問題、變分法，以及目標函數的構造，它們在機器學習中處於核心地位。第5 章介紹機率論的核心知識，包括隨機事件與機率、隨機變數與機率分佈、極限定理、參數估計問題、在機器學習中常用的隨機演算法，以及取樣演算法。用機率論的觀點對機器學習問題進行建模是一類重要的方法。第6 章介紹資訊理論的知識，包括熵、交叉熵、KL 散度等，它們被廣泛用於構造目標函數，對機器學習演算法進行理論分析。第7 章介紹隨機過程，包括馬可夫過程與高斯過程，以及馬可夫鏈取樣演算法。高斯過程回歸是貝氏最佳化的基礎。第8 章介紹圖論的核心知識，包括基本概念、機器學習中使用的各種典型的圖、圖的重要演算法，以及譜圖理論。它們被用於流形學習、譜聚類、機率圖模型、圖神經網路等機器學習演算法。

　　全書結構合理，內容緊湊，講解深入淺出。在工科數學（偏重計算）與數學專業（偏重理論與證明，更深入和系統）的教學內容和講授模式上進行了折中，使得讀者不僅知其然，還知其所以然，在掌握數學知識的同時培養數學思維與建模能力。

　　學習數學知識後不知有何用，不知怎麼用，是數學教學中長期存在的問題。本書透過從機器學習的角度講授數學知識，舉例說明其在機器學習領域的實際應用，使得某些抽象、複雜的數學知識不再抽象。部分內容緊接機器學習的新進展。對於線性代數等知識，本書還配合Python 實驗程式進行講解，使得讀者對數學理論的結果有直觀的認識。

　　由於作者水準與精力有限，書中難免會有錯誤或不妥當的地方，敬請讀者指正！編輯電子郵件為：zhangtao@ptpress.com.cn。