因果推理：基礎與學習算法

譯者序
原書前言
符號和術語

第1章　統計和因果模型
1.1　概率論與統計學
1.2　學習理論
1.3　因果建模和學習
1.4　兩個實例
1.4.1　模式識別
1.4.2　基因干擾

第2章　因果推斷假設
2.1　獨立機制原則
2.2　歷史記錄
2.3　因果模型的物理結構
2.3.1　時間的作用
2.3.2　物理定律
2.3.3　迴圈賦值
2.3.4　干預的可行性
2.3.5　原因和機制的獨立性以及時間的熱力學之箭

第3章 原因-效果模型
3.1　結構因果模型
3.2　干預
3.3　反事實
3.4　結構因果模型的標準表示
3.5　問題

第4章　學習原因-效果模型
4.1　結構可識別性
4.1.1　為什麼需要額外的假設
4.1.2　假設類型的概述
4.1.3　非高斯加性雜訊的線性模型
4.1.4　非線性加性雜訊模型
4.1.5　離散加性雜訊模型
4.1.6　後非線性模型
4.1.7　信息-幾何因果推斷
4.1.8　Trace方法
4.1.9　以演算法資訊理論為可能的基礎
4.2　結構識別方法
4.2.1　加性雜訊模型
4.2.2　信息幾何因果推斷
4.2.3　Trace方法
4.2.4　監督學習方法
4.3　問題

第5章　與機器學習的聯繫1
5.1　半監督學習
5.1.1　半監督學習和因果方向
5.1.2　關於半監督學習在因果方向上的注釋
5.2　協變數偏移
5.3　問題

第6章　多變數因果模型…
6.1　圖的術語
6.2　結構因果模型
6.3　干預
6.4　反事實
6.5　瑪律可夫性、忠實性和因果小性
6.5.1　瑪律可夫性
6.5.2　因果圖模型
6.5.3　忠實性和因果小性
6.6　通過協變數調整計算干預分佈
6.7　do-calculus
6.8　因果模型的等價性和可證偽性
6.9　潛在的結果
6.9.1　定義與實例
6.9.2　潛在的結果與結構因果模型之間的關係
6.10　單一物件的廣義結構因果模型
6.11　條件演算法獨立性
6.12　問題

第7章　學習多變數因果模型
7.1　結構可識別性
7.1.1　忠實性
7.1.2　加性雜訊模型
7.1.3　具有等誤差方差的線性高斯模型
7.1.4　線性非高斯無環模型
7.1.5　非線性高斯加性雜訊模型
7.1.6　觀測資料和實驗資料
7.2　結構識別方法
7.2.1　基於獨立的方法
7.2.2　基於分數的方法
7.2.3　加性雜訊模型
7.2.4　已知因果次序
7.2.5　觀測資料與實驗資料
7.3　問題

第8章　與機器學習的聯繫2
8.1　半同胞回歸
8.2　因果推斷與場景強化學習
8.2.1　逆概率加權
8.2.2　場景強化學習
8.2.3　21點（Blackjack）中的狀態簡化
8.2.4　改進廣告佈置的加權
8.3　域適應
8.4　問題

第9章　隱藏變數
9.1　干預充分性
9.2　Simpson悖論
9.3　工具變數
9.4　條件獨立性和圖表示
9.4.1　圖
9.4.2　快速因果推斷
9.5　條件獨立性之外的約束
9.5.1　Verma約束
9.5.2　不等式約束
9.5.3　基於協方差的約束
9.5.4　附加雜訊模型
9.5.5　檢測低複雜度混雜因數
9.5.6　不同的環境
9.6　問題

第10章　時間序列
10.1　基礎和術語
10.2　結構因果模型和干預
10.2.1　下採樣
10.3　學習因果時間序列模型
10.3.1　瑪律可夫條件和忠實性
10.3.2　一些不要求忠實性的因果結論
10.3.3　Granger因果關係
10.3.4　具有受限函數類的模型
10.3.5　頻譜獨立準則
10.4　動態因果建模
10.5　問題

附錄
附錄A　一些概率與統計學基礎知識
A.1　基本定義
A.2　獨立性以及條件獨立性測試
A.3　函數類的容量
附錄B　因果次序和鄰接矩陣
附錄C　證明
C.1　定理4.2的證明
C.2　命題6.3的證明
C.3　備註6.6的證明
C.4　命題6.13的證明
C.5　命題6.14的證明
C.6　命題6.36的證明
C.7　命題6.48的證明
C.8　命題6.49的證明
C.9　命題7.1的證明
C.10 命題7.4的證明
C.11　命題8.1的證明
C.12　命題8.2的證明
C.13　命題9.3的證明
C.14　命題10.3的證明
C.15　定理10.4的證明
參考文獻

因果關係是一個有吸引力的研究領域。它的數學化才剛剛起步，許多概念問題仍然存在爭論——通常爭論比較激烈。

《因果推理：基礎與學習算法》總結了作者十年來分析因果關係所得到的結果，雖然有些人研究這一問題的時間比作者更長，也存在一些關於因果關係方面的圖書，包括Pearl（2009）、Spirtes等人（2000）以及Imbens和Rubin（2015）的綜述，但是作者希望本書能從兩方面補充現有的工作。

首先，《因果推理：基礎與學習算法》傾向於因果關係的子問題，認為因果關係是基本的，也是不現實的。這就是因果效應問題，在這個問題上，被分析的系統只包含兩個可觀測變數。在過去的十年裡，作者對這個問題進行了較為詳細的研究。作者報告了這項工作的大部分內容，並試圖將其納入作者認為對因果關係問題有選擇性但深刻理解的基礎背景中。雖然按照章節順序先研究二元情況可能有一定的指導意義，但也可以直接開始閱讀多變數章節。

其次，《因果推理：基礎與學習算法》中的方法受到機器學習和計算統計領域的激勵和影響。本書感興趣的是這些方法如何説明推斷因果結構，更感興趣的是因果推理是否能告訴人們機器學習的方式。事實上，作者認為，如果不把概率分佈描述的隨機實驗作為出發點，而是考慮概率分佈背後的因果結構，那麼能很好理解機器學習的一些深刻的開放性問題。

《因果推理：基礎與學習算法》試圖為具有概率論、統計和機器學習基礎的讀者提供一個系統的主題介紹（為了完整起見，附錄A.1和A.2給出了重要的概念）。

雖然《因果推理：基礎與學習算法》建立在Pearl（2009）和 Spirtes等人（2000）的工作所代表的因果關係圖解的基礎上，但作者的個人品味影響了主題的選擇。為了保持本書的可讀性，並將注意力集中在概念性問題上，令人遺憾的是，不得不在因果關係的一些重大問題上投入較少的篇幅，無論是對特定背景的理論見解，還是對各種具有實際重要性的方法的深入瞭解。作者試圖為一些明顯的遺漏引用文獻，但可能忽略了一些重要的主題。

《因果推理：基礎與學習算法》也有一些缺點，其中一些內容是從該領域繼承而來的，例如理論結果往往局限於有無窮多的資料的情況。雖然本書提供了有限資料情況的演算法和方法，但是沒有討論這些方法的統計性質。此外，在一些地方，本書忽略了測度理論問題，往往假設密度的存在。作者發現所有這些問題都是相關的和有趣的，但作者做出了這些選擇，以保持本書的簡潔和易讀性。
再一個是免責聲明。計算因果關係的方法仍處於起步階段，只是在有限的情況下，從資料中學習因果結構是可行的。
 
《因果推理：基礎與學習算法》試圖在可能的情況下包括具體的演算法，但作者清楚地意識到，因果推理的許多問題比典型的機器學習問題更困難，因此無法保證這些演算法都能解決讀者的問題。請不要對這句話感到氣餒，因果學習是一個有趣的話題，作者希望閱讀本書可以說服讀者開始研究它。

如果沒有大家的支持，作者就無法完成《因果推理：基礎與學習算法》這本書。

作者非常感謝德國奧博沃爾法赫數學研究所對三位作者的支持，在該研究所工作期間，三位作者完成了《因果推理：基礎與學習算法》的大部分內容。

感謝Michel Besserve、Peter Bühlmann、Rune Christiansen、Frederick Eberhardt、Jan Ernest、 Philipp Geiger、Niels Richard Hansen、Alain Hauser、Biwei Huang、Marek Kaluba、Hansruedi Künsch、Steffen Lauritzen、Jan Lemeire、David Lopez-Paz、Marloes Maathuis、Nicolai Meinshausen、S.ren Wengel Mogensen、Joris Mooij、Krikamol Muandet、Judea Pearl、Niklas Pfister、Thomas Richardson、Mateo Rojas-Carulla、Eleni Sgouritsa、Carl Johann Simon-Gabriel、Xiaohai Sun、Ilya Tolstikhin、Kun Zhang和 Jakob Zscheischler，在作者寫《因果推理：基礎與學習算法》的過程中，提供了許多有用的評論和有趣的討論。特別是Joris和Kun參與了本書介紹的大部分研究。

感謝德國卡爾斯魯厄理工學院、瑞士蘇黎世聯邦理工學院和德國圖賓根大學多位學生對《因果推理：基礎與學習算法》初稿的閱讀及校對，並提出許多令人鼓舞的問題。

最後，感謝來自Westchester出版服務公司的匿名評審專家和編輯團隊的有益建議，以及麻省理工學院出版社的工作人員，特別是Marie Lufkin Lee和Christine Bridget Savage，感謝他們在整個寫作過程中提供了良好的支持。