機器學習算法與實現：Python編程與應用實例

第1章緒論1
1.1機器學習的發展歷程2
1.2機器學習的基本術語2
1.2.1特徵3
1.2.2樣本3
1.2.3模型3
1.2.4回歸、分類與聚類4
1.2.5泛化與過擬合4
1.3機器學習的基本分類5
1.3.1監督學習5
1.3.2無監督學習5
1.3.3半監督學習5
1.3.4深度學習6
1.3.5強化學習8
1.3.6機器學習與人工智慧8
1.4機器學習的應用9
1.4.1圖像識別與處理9
1.4.2語音辨識與自然語言處理10
1.4.3環境感知與智慧決策11
1.4.4融合物理資訊的工程設計12
1.5機器學習應用的步驟13
1.5.1應用場景分析14
1.5.2資料處理14
1.5.3特徵工程14
1.5.4演算法模型訓練與評估15
1.5.5應用服務15
1.6機器學習的評估方法15
1.6.1資料集劃分方法15
1.6.2性能度量16
1.7如何學習機器學習17
1.7.1由淺入深17
1.7.2行成於思17

第2章Python語言18
2.1為什麼選擇Python18
2.2安裝Python的環境19
2.2.1Windows下的安裝19
2.2.2Linux下的安裝19
2.2.3設置軟體源20
2.2.4安裝常用Python庫20
2.2.5安裝PyTorch20
2.2.6Conda使用技巧21
2.3JupyterNotebook21
2.3.1JupyterNotebook的主頁面22
2.3.2JupyterNotebook的快速鍵24
2.3.3Magic關鍵字25
2.4Python基礎25
2.4.1變數26
2.4.2運算子27
2.4.3內置函數28
2.5print()函數29
2.6資料結構30
2.6.1列表31
2.6.2元組38
2.6.3集合40
2.6.4字串42
2.6.5字典46
2.7控制流語句48
2.7.1判斷語句48
2.7.2迴圈語句50
2.8函數55
2.8.1函數的參數55
2.8.2返回語句56
2.8.3默認參數58
2.8.4任意數量的參數58
2.8.5全域變數和區域變數59
2.8.6lambda函數60
2.9類和對象60
2.9.1成員函數與變數61
2.9.2繼承64
2.10小結66
2.11練習題66
2.12線上練習題67

第3章Python常用庫68
3.1NumPy數值計算庫68
3.1.1創建NumPy陣列69
3.1.2訪問陣列元素73
3.1.3文件讀寫77
3.1.4線性代數函數79
3.1.5資料統計80
3.1.6陣列的操作83
3.2Matplotlib繪圖庫87
3.2.1多子圖繪製88
3.2.2影像處理89
3.3小結89
3.4練習題89
3.5線上練習題90

第4章k最近鄰演算法91
4.1k最近鄰原理91
4.1.1特徵距離計算92
4.1.2演算法步驟92
4.2機器學習的思維模型93
4.3資料生成93
4.4程式實現95
4.5將kNN演算法封裝為類97
4.6基於sklearn的分類實現98
4.7小結100
4.8練習題100
4.9線上練習題100

第5章k均值聚類演算法101
5.1無監督學習思想101
5.2k均值聚類原理102
5.3k均值聚類演算法103
5.4演算法操作過程演示103
5.5k均值聚類演算法程式設計實現105
5.6使用sklearn進行聚類109
5.7評估聚類性能110
5.7.1調整蘭德指數110
5.7.2輪廓係數111
5.8k均值圖像壓縮112
5.9小結114
5.10練習題115
5.11線上練習題115

第6章邏輯斯蒂回歸116
6.1最小二乘法116
6.1.1資料生成116
6.1.2最小二乘法的數學原理117
6.1.3最小二乘法的程式實現118
6.2梯度下降法119
6.2.1梯度下降法的原理119
6.2.2梯度下降法的實現121
6.2.3反覆運算視覺化123
6.2.4梯度下降法的優化124
6.3多元線性回歸125
6.3.1導彈彈道預測演算法125
6.3.2建模與程式設計求解126
6.4使用sklearn庫進行擬合127
6.5邏輯斯蒂回歸的原理128
6.5.1數學模型129
6.5.2演算法流程131
6.6邏輯斯蒂回歸的實現131
6.6.1邏輯斯蒂回歸示例程式132
6.6.2使用sklearn解決邏輯斯蒂
回歸問題134
6.6.3多類識別問題136
6.7小結140
6.8練習題140
6.9線上練習題140

第7章神經網路141
7.1感知機141
7.1.1感知機模型142
7.1.2感知機學習策略143
7.1.3感知機學習演算法143
7.1.4示例程式144
7.2多層神經網路147
7.2.1神經元147
7.2.2神經網路架構148
7.2.3神經網路正向計算148
7.2.4神經網路矩陣表示149
7.2.5神經網路訓練151
7.2.6啟動函數155
7.2.7神經網路訓練演算法設計157
7.2.8示例程式158
7.2.9使用類的方法封裝多層神經網路161
7.3softmax函數與交叉熵代價函數165
7.3.1softmax函數165
7.3.2交叉熵代價函數167
7.4小結169
7.5練習題169
7.6線上練習題170

第8章PyTorch171
8.1張量171
8.1.1Tensor的生成171
8.1.2Tensor的操作173
8.1.3Tensor的維度操作173
8.1.4Tensor的變形175
8.1.5inplace操作175
8.2自動求導176
8.2.1簡單情況下的自動求導177
8.2.2複雜情況下的自動求導178
8.2.3多次自動求導180
8.3神經網路模型180
8.3.1邏輯斯蒂回歸與神經網路180
8.3.2序列化模型185
8.3.3模組化網路定義187
8.3.4模型參數保存189
8.4神經網路的定義與訓練191
8.4.1MNIST資料集191
8.4.2CIFAR-10資料集192
8.4.3多分類神經網路192
8.4.4參數初始化198
8.4.5模型優化求解202
8.5綜合示例代碼212
8.6小結214
8.7練習題215
8.8線上練習題215

第9章深度學習216
9.1卷積神經網路216
9.1.1卷積網路的基礎217
9.1.2卷積計算與模組220
9.1.3數據預處理與批量歸一化223
9.1.4網路正則化229
9.1.5學習率衰減231
9.2典型的深度神經網路235
9.2.1LeNet5235
9.2.2AlexNet240
9.2.3VGG245
9.2.4GoogLeNet250
9.2.5ResNet254
9.2.6DenseNet260
9.3小結265
9.4練習題265
9.5線上練習題265

第10章目標檢測266
10.1目標檢測的任務266
10.2目標檢測的發展歷程267
10.3目標檢測評估方法269
10.3.1交並比269
10.3.2精度270
10.3.3平均精度271
10.3.4平均精度均值271
10.4目標檢測的原理271
10.4.1YOLO-v1271
10.4.2YOLO-v2280
10.4.3YOLO-v3280
10.4.4YOLO-v4281
10.4.5YOLO-v5281
10.5YOLO-v4原理與實現283
10.5.1主幹特徵提取網路283
10.5.2特徵金字塔287
10.5.3利用特徵進行預測289
10.5.4預測結果的解碼290
10.5.5在原始圖像上進行繪製295
10.6YOLO-v4的技巧及損失函數分析295
10.6.1Mosaic資料增強295
10.6.2CIoU299
10.6.3損失函數300
10.7訓練自己的YOLO-v4模型307
10.7.1資料集的準備307
10.7.2資料集處理307
10.7.3網路訓練308
10.7.4訓練結果預測310
10.8小結310
10.9練習題310
10.10線上練習題310

第11章深度強化學習311
11.1強化學習311
11.1.1強化學習的基本概念312
11.1.2瑪律可夫決策過程313
11.1.3Q學習演算法315
11.1.4示例程式317
11.2深度強化學習320
11.3倒立擺的控制示例321
11.3.1模擬環境322
11.3.2協力廠商庫322
11.3.3經驗重播記憶體323
11.3.4Q網路324
11.3.5輸入資料截取324
11.3.6超參數和工具函數325
11.3.7網路訓練327
11.4小結329
11.5練習題330
11.6線上練習題330
參考文獻331
術語表333