強化學習入門：基於Python

第一部分 強化學習基礎與實踐
第1章 引 言
1.1 從迷宮問題談起
1.1.1 人類和動物所面對的迷宮問題
1.1.2 迷宮的說明性例子
1.1.3 例1.1: 獎勵矩陣
1.1.4 例1.1: 訓練以得到關於狀態和行動的獎勵: Q矩陣
1.1.5 例1.1: 使用Q矩陣來得到行動(路徑)
1.1.6 例1.1: 把代碼組合成 class
1.2 熱身: 井字遊戲*
1.2.1 兩個真人的簡單井字遊戲
1.2.2 人和機器的井字遊戲的強化學習實踐
1.2.3 井字遊戲的強化學習代碼解釋
1.2.4 整個訓練過程
1.2.5 使用訓練後的模型做人機遊戲
1.2.6 1.2.1節代碼
1.2.7 附錄: 1.2.3節人和機器的井字遊戲代碼
1.3 強化學習的基本概念
1.4 瑪律可夫決策過程的要素
1.5 作為目標的獎勵
1.6 探索與開發的權衡
1.6.1 探索與開發
1.6.2 強化學習中的優化和其他學科的區別
1.7 本書將會討論和運算的一些例子
1.7.1 例1.3格子路徑問題
1.7.2 例1.4計程車問題
1.7.3 例1.5推車杆問題
1.7.4 例1.6倒立擺問題
1.7.5 例1.7多臂老虎機問題
1.7.6 例1.7和其他例子(例1.3、例1.5及例1.6)的區別

第2章 瑪律可夫決策過程和動態規劃
2.1 瑪律可夫決策過程簡介
2.1.1 瑪律可夫性
2.1.2 策略
2.1.3 作為回報期望的價值函數
2.1.4 通過例 1.3 格子路徑問題理解本節概念
2.2 動態規劃
2.2.1 動態規劃簡介
2.2.2 Bellman方程
2.2.3 策略和價值函數
2.3 強化學習基本方法概述
2.3.1 代理與環境的互動
2.3.2 策略反覆運算: 策略評估和策略改進
2.3.3 價值反覆運算
2.3.4 策略反覆運算與價值反覆運算比較
2.3.5 非同步動態規劃
2.3.6 廣義策略反覆運算
2.3.7 策略梯度
2.3.8 off-policy, on-policy和offline RL
2.4 蒙特卡羅抽樣
2.4.1 MC策略評估
2.4.2 MC狀態-行動值的估計
2.4.3 on-policy: Q價值的MC估計
2.4.4 off-policy: MC預測
2.4.5 MC的策略梯度
2.5 和本章概念相關的例子
2.5.1 例1.3格子路徑問題使用Bellman方程做價值反覆運算
2.5.2 例1.3格子路徑問題的TD函數
第3章 各種機器學習演算法及實例
3.1 暫時差(TD)簡介
3.1.1 TD、DP和MC演算法的比較
3.1.2 TD方法的特點
3.1.3 TD(0)方法的延伸
3.2 TD評估及策略改進
3.2.1 SARSA (on-policy)
3.2.2 Q學習 (off-policy)
3.2.3 加倍Q學習 (off-policy)
3.3 函數逼近及深度學習演算法
3.3.1 基於價值和策略的函數逼近
3.3.2 深度Q學習
3.3.3 TD: 演員-批評者(AC)架構
3.3.4 A2C演算法步驟
3.3.5 A3C 演算法
3.3.6 DDPG 演算法
3.3.7 ES 演算法
3.3.8 PPO 演算法
3.3.9 SAC 演算法
3.4 用第1章的例子理解本章演算法
3.4.1 例1.3格子路徑問題: SARSA
3.4.2 例1.4計程車問題: SARSA
3.4.3 例1.3格子路徑問題: 加倍Q學
3.4.4 例1.5推車杆問題: 深度Q學習
3.4.5 例1.5推車杆問題: A3C
3.4.6 例1.6倒立擺問題: DDPG
3.4.7 例1.5推車杆問題: ES
3.4.8 例1.5推車杆問題: PP