深度學習詳解｜台大李宏毅老師機器學習課程精粹

章節說明:chapter 1 機器學習基礎
1.1 案例學習
1.2 線性模型

chapter 2 實踐方法論
2.1 模型偏差
2.2 最佳化問題
2.3 過擬合
2.4 交叉驗證
2.5 不匹配

chapter 3 深度學習基礎
3.1 局部最小值與鞍點
3.2 批次和動量
3.3 自適化學習率
3.4 學習率排程
3.5 最佳化總結
3.6 分類
3.7 批次正規化

chapter 4 卷積神經網路
4.1 觀察 1：檢測模式不需要整幅圖片
4.2 簡化 1：感知域
4.3 觀察 2：同樣的模式可能出現在圖片的不同區域
4.4 簡化 2：共用參數
4.5 簡化 1 和簡化 2 的總結
4.6 觀察 3：降取樣不影響模式檢測
4.7 簡化 3：池化
4.8 卷積神經網路的應用：下圍棋

chapter 5 遞迴神經網路
5.1 獨熱編碼
5.2 什麼是 RNN
5.3 RNN 架構
5.4 其他 RNN
5.5 LSTM 網路原理
5.6 RNN 的學習方式
5.7 如何解決 RNN 的梯度消失或梯度爆炸問題
5.8 RNN 的其他應用

chapter 6 自注意力機制
6.1 輸入是向量序列的情況
6.2 自注意力機制的運作原理
6.3 多頭自注意力
6.4 位置編碼
6.5 截斷自注意力
6.6 對比自注意力與卷積神經網路
6.7 對比自注意力與遞迴神經網路

chapter 7 Transformer
7.1 序列到序列模型
7.2 Transformer 結構
7.3 Transformer 編碼器
7.4 Transformer 解碼器
7.5 編碼器—解碼器注意力
7.6 Transformer 的訓練過程
7.7 序列到序列模型訓練常用技巧

chapter 8 生成模型
8.1 生成對抗網路
8.2 生成器與判別器的訓練過程
8.3 GAN 的應用案例
8.4 GAN 的理論介紹
8.5 WGAN 演算法
8.6 GAN 訓練的困難點與技巧
8.7 GAN 的效能評估方法
8.8 條件型生成
8.9 CycleGAN

chapter 9 擴散模型
9.1 擴散模型產生圖片的過程
9.2 降噪模組
9.3 訓練雜訊預測器

chapter 10 自監督學習
10.1 BERT
10.2 GPT

chapter 11 自動編碼器
11.1 自動編碼器的概念
11.2 為什麼需要自動編碼器
11.3 降噪自動編碼器
11.4 自動編碼器應用之特徵解離
11.5 自動編碼器應用之離散隱性表徵
11.6 自動編碼器的其他應用

chapter 12 對抗式攻擊
12.1 對抗式攻擊簡介
12.2 如何進行網路攻擊
12.3 快速梯度符號法
12.4 白箱攻擊與黑箱攻擊
12.5 其他模態資料被攻擊案例
12.6 現實世界中的攻擊
12.7 防禦方式中的被動防禦
12.8 防禦方式中的主動防禦

chapter 13 轉移學習
13.1 領域偏移
13.2 領域自適應
13.3 領域概化

chapter 14 增強式學習
14.1 增強式學習的應用
14.2 增強式學習框架
14.3 評價動作的標準

chapter 15 元學習
15.1 元學習的概念
15.2 元學習的三個步驟
15.3 元學習與機器學習
15.4 元學習的實例演算法
15.5 元學習的應用

chapter 16 終身學習
16.1 災難性遺忘
16.2 終身學習的評估方法
16.3 終身學習問題的主要解法

1chapter 17 網路壓縮
17.1 網路修剪
17.2 知識蒸餾
17.3 參數量化
17.4 網路架構設計
17.5 動態計算

chapter 18 可解釋性機器學習
18.1 可解釋性人工智慧的重要性
18.2 決策樹模型的可解釋性
18.3 可解釋性機器學習的目標
18.4 可解釋性機器學習中的局部解釋
18.5 可解釋性機器學習中的全局解釋
18.6 擴充與小結

chapter 19 ChatGPT
19.1 ChatGPT 簡介和功能
19.2 對 ChatGPT 的誤解
19.3 ChatGPT 背後的關鍵技術—預訓練
19.4 ChatGPT 帶來的研究問題

章節說明:chapter 1 機器學習基礎
1.1 案例學習
1.2 線性模型

chapter 2 實踐方法論
2.1 模型偏差
2.2 最佳化問題
2.3 過擬合
2.4 交叉驗證
2.5 不匹配

chapter 3 深度學習基礎
3.1 局部最小值與鞍點
3.2 批次和動量
3.3 自適化學習率
3.4 學習率排程
3.5 最佳化總結
3.6 分類
3.7 批次正規化

chapter 4 卷積神經網路
4.1 觀察 1：檢測模式不需要整幅圖片
4.2 簡化 1：感知域
4.3 觀察 2：同樣的模式可能出現在圖片的不同區域
4.4 簡化 2：共用參數
4.5 簡化 1 和簡化 2 的總結
4.6 觀察 3：降取樣不影響模式檢測
4.7 簡化 3：池化
4.8...