強化學習與隨機優化：序貫決策的通用框架

由“決策、信息、決策、信息”組成的序貫決策問題無處不在，幾乎涵蓋了人類的所有活動，包括商業應用、衛生(個人健康、公共衛生和醫療決策)、能源、科學、各工程領域、金融和電子商務等。應用的多樣性吸引了至少15個不同研究領域的關注，使用了8種不同的符號系統，產生了大量的分析工具。而其弊端是，由某一領域開發的強大工具可能不為其他領域所知。

本書提供了一個可以借助5個核心組件(狀態變量、決策變量、外部信息變量、轉移函數和目標函數)對任何序貫決策問題進行建模的通用框架；強調了可能影響任何模型的12種不確定性，並將做決策的各種方法(稱為策略)歸納為4個基本類別，涵蓋學術文獻中提出的或實踐中使用的所有方法。本書是一本探討如何對不同方法進行均衡處理，以便建模和解決序貫決策問題的開創性圖書，承襲了大多數聚焦機器學習、優化和模擬的書籍的風格。本書專為具有概率和統計背景知識並對建模和應用程序感興趣的讀者而設計。線性規劃有時用於特定的問題類型。本書專為剛接觸這一領域的讀者以及對不確定優化有一定了解的讀者而著。

本書提及了100多種不同應用，包括純學習問題、動態資源分配問題、一般狀態相關問題和混合學習/資源分配問題(如COVID-19全球流行期間出現的問題)。全書共有370個練習，分為7組，包括複習問題、建模問題、計算練習、求解問題、理論問題、編程練習和讀者在本書伊始選擇的“每日一問”，且“每日一問”為本書其餘問題的基礎。



沃倫·B.鮑威爾博士是普林斯頓大學(Princeton University)運籌學與金融工程榮譽退休教授，在該校任教39年。他是CASTLE實驗室的創始人兼主任，該實驗室作為一個研究單位，與行業夥伴合作，檢驗運籌學研究中發現的新想法。他指導過70名研究生和博士后，與他們合著了250多篇論文。他目前是Optimal Dynamics的首席分析官，Optimal Dynamics是一家實驗室分支機構，負責將他的研究結果引入行業內。