可解釋的機器學習 - 用因果推斷來學習箇中奧祕

第1 章 因果推斷入門
1.1 定義因果關係的兩種基本框架
1.1.1 結構因果模型
1.1.2 潛結果框架
1.2 因果辨識和因果效應估測
1.2.1 工具變數
1.2.2 中斷點回歸設計
1.2.3 前門準則
1.2.4 雙重差分模型
1.2.5 合成控制
1.2.6 因果中介效應分析
1.2.7 部分辨識、ATE 的上下界和敏感度分析

第2 章 用機器學習解決因果推斷問題
2.1 基於整合學習的因果推斷
2.2 基於神經網路的因果推斷
2.2.1 反事實回歸網路
2.2.2 因果效應變分自編碼器
2.2.3 因果中介效應分析變分自編碼器
2.2.4 針對線上評論多方面情感的多重因果效應估計
2.2.5 基於多模態代理變數的多方面情感效應估計
2.2.6 在網路資料中解決因果推斷問題

第3 章 因果表徵學習與泛化能力
3.1 資料增強
3.1.1 利用眾包技術的反事實資料增強
3.1.2 基於規則的反事實資料增強
3.1.3 基於模型的反事實資料增強
3.2 提高模型泛化能力的歸納偏置
3.2.1 使用不變預測的因果推理
3.2.2 獨立機制原則
3.2.3 因果學習和反因果學習
3.2.4 半同胞回歸
3.2.5 不變風險最小化
3.2.6 不變合理化

第4 章 可解釋性、公平性和因果機器學習
4.1 可解釋性
4.1.1 可解釋性的屬性
4.1.2 基於相關性的可解釋性模型
4.1.3 基於因果機器學習的可解釋性模型
4.2 公平性
4.2.1 不公平機器學習的典型實例
4.2.2 機器學習不公平的原因
4.2.3 基於相關關係的公平性定義
4.2.4 因果推斷對公平性研究的重要性
4.2.5 因果公平性定義
4.2.6 基於因果推斷的公平機器學習
4.3 因果推斷在可信和負責任人工智慧的其他應用

第5 章 特定領域的機器學習
5.1 推薦系統與因果機器學習
5.1.1 推薦系統簡介
5.1.2 用因果推斷修正推薦系統中的偏差
5.2 基於因果推斷的學習排序
5.2.1 學習排序簡介
5.2.2 用因果推斷修正學習排序中的偏差

第6 章 複習與展望
6.1 定義因果關係的兩種基本框架
6.2 展望

術語表
參考文獻

序

　　隨著巨量資料時代的來臨，機器學習技術突飛猛進，並且在人類社會中扮演著越來越重要的角色。例如，你可能已經習慣了每天使用Google、百度、Bing 等搜尋引擎查詢資訊，或者享受電子商務網站和視訊網站的推薦系統帶來的便利，以及利用Google、百度等網站提供的機器翻譯學習外語，這些應用都離不開機器學習模型的支援。但機器學習模型，尤其是當下流行的深度學習模型，面臨著域外泛化、可解釋性、公平性等挑戰。例如，利用深度學習模型做影像分類時可能會根據圖片中的沙漠背景立刻判斷影像中會出現駱駝，這是因為它不會意識到「沙漠背景」和「駱駝出現」之間只存在相關性。也就是說，「沙漠背景」並不是「駱駝出現」的原因。而意識到這一點對人類來說並不難。因此，為了實現通用人工智慧，機器學習演算法需要具備判斷特徵和標籤間是否存在因果關係的能力。

　　另外，機器學習中對因果關係的研究也一直扮演著重要的角色。例如，在流行病學中，孟德爾隨機化揭示了基因對患病機率的影響，其本質是一種基於工具變數的因果推斷方法。在研究疫苗的有效率時，雙盲實驗扮演著不可替代的角色。這是因為雙盲實驗可以衡量疫苗對免疫力的因果效應。而近幾年出現了許多利用機器學習方法解決因果推斷問題的研究。這是因為機器學習模型不僅可以有效地處理複雜的輸入資料（如影像、文字和網路資料），還能夠學習到原因和結果間複雜的非線性關係。

　　如今，因果機器學習的研究在學術界可謂百花齊放，從利用機器學習模型解決因果推斷問題到將因果關係增加到機器學習模型中，都會涉及因果機器學習。而在業界，無論是像Google 和BAT這樣的大公司、Zalando（總部位於德國柏林的大型網路電子商場，其主要產品是服裝和鞋類）這樣的中型公司，還是像Causalens（一家英國無程式因果AI 產品開發廠商）這樣的創業公司，因果機器學習都在解決業務問題中扮演著重要的角色。這意味著業界對因果機器學習人才的需求也處於一個上升期。例如，2022 年的就業市場對這類人才的需求就是一個證明。但是，目前大專院校開設的課程中很少有同時涉及因果推斷和機器學習的。這是因為因果推斷被認為是統計學、經濟學、流行病學的課程。而機器學習主要出現在電腦科學和資料科學的教學大綱中。因此，希望本書的出現可以幫助那些想要系統學習因果機器學習，並在將來從事相關工作的讀者。

　　為了幫助讀者建立連接因果推斷和機器學習這兩個重要領域所需要的知識系統，本書對內容做了精心規劃。為了照顧到沒有因果推斷基礎的讀者，第1章解答了在學習因果推斷之初讀者可能面臨的問題。例如，潛結果框架和結構因果模型兩種基礎理論框架到底有什麼區別？因果推斷的經典方法有哪些，它們分別適用於什麼場景？在此基礎上，第2 章介紹了更前端的、利用機器學習模型來解決因果推斷問題的具有代表性的方法，希望那些想要解決因果效應估測、政策評估、智慧行銷增益模型（uplift modeling）這些因果推斷問題的讀者從中有所收穫。第3、4 章中討論的域外泛化、可解釋性和公平性問題都在近幾年受到學界和業界的大量關注。它們表現了基於相關性的機器學習模型的局限性。而基於因果性的因果機器學習方法對於克服這些局限性十分有效。這部分知識可以回答在機器學習領域工作的讀者的一個問題：為什麼因果性對於機器學習的研究和實踐非常重要？第5 章介紹基於因果的推薦系統和學習排序方法，以幫助對這些領域感興趣的讀者打下堅實的基礎，並在相關的科學研究和實踐中做到遊刃有餘。第6 章是對全書主要內容的複習。

　　我們基於在因果機器學習研究、教學和實踐中累積的知識和經驗撰寫了這本書，旨在探索如何建構一個容易被讀者接受的因果機器學習知識系統，為培養因果機器學習的跨學科人才做一份貢獻。

　　由於作者的能力和精力有限，本書難免會出現一些紕漏，歡迎讀者們批評、指正。希望每一位讀者都能在閱讀本書的過程中有所收穫。無論讀者是對因果推斷的基礎知識進行了補充，還是對因果機器學習的前端方向進行了了解，對我們來講都是莫大的榮幸。

　　本書在寫作、校對和出版的過程中，獲得了國內外許多專家學者和出版人員的大力支持與幫助。在此，我們對那些為本書做出貢獻的朋友表達誠摯的謝意。感謝為本書撰寫推薦語的多位專家學者，他們是（排名不分先後）：吉林大學人工智慧學院院長常毅教授、美國維吉尼亞大學張愛東教授、美國LinkedIn公司工程總監洪亮劼博士。

　　感謝對本書的寫作提供巨大幫助的各位老師和同學，他們是（排名不分先後）：亞利桑那州立大學資料探勘與機器學習實驗室（DMML）全體成員、Meta AI 人工智慧科學家張鵬川博士、微軟雷蒙德研究院資深首席研究員Emre Kiciman 博士、維吉尼亞大學李駿東助理教授和博士生馬菁、加州理工學院岳一松副教授、約翰霍普金斯大學Angie Liu 助理教授。

　　感謝正在閱讀本書的你。

　　感謝為本書付出努力的電子工業出版社編輯李利健及她的同事。

　　衷心感謝我們的親人和摯友。沒有你們一路的支持、陪伴和理解，我們無法完成對因果機器學習的探索和本書的寫作。