大數據的傲慢與偏見： 一個「圈內數學家」對演算法霸權的警告與揭發

名人推薦：

【中文版推薦書評一】胡一天（源鉑資本創辦人暨執行長，源鉑情報總編輯，《風傳媒》專欄作家）

偏見的結構與人工智能專政

對關注人工智能進展的人士而言，卡夫卡筆下的絕望困境，象徵著一種反烏托邦式的惡夢。在卡夫卡的經典小說《審判》中有一則寓言《法律之前》（Before the Law），講述一名鄉巴佬試圖上法院尋求救濟，到了門口卻被警衛阻擋的故事。警衛說：「法律的大門為人人敞開，不是不給進，但不是現在。」鄉巴佬只好坐在警衛給的小板凳上，既不憤怒，也不打算傷害警衛，而是繼續在門前等待，到死為止。在他嚥氣前，鄉巴佬問警衛：「人人都想在法律之前討個公道，為什麼這麼多年來我一個影子都沒見到？」警衛說：「你眼前這扇門，是特別為你準備的，而我現在要將它永遠關上。」

《審判》的男主角「K」在聽完這則寓言後，認為整件事就是一場用謊言羅織而成的體制化騙局。卡夫卡式法庭不在乎客觀世界中的真實，而僅在乎維持體系的持續運作。法律的大門理論上向社會敞開，但在卡夫卡的世界裡，人人有機會，個個沒把握。整個體系不是在追求真理正義，而是在為維護體制的充分與必要條件服務。當偏見已經根深柢固，只要身在其中，就被推定有罪，取證、詰問、辯論等程序，只是過場套路。恪忠職守的各級官僚不用為受害者負責，更無需內疚自責。因為他們都像那位低階警衛一樣，只是盡看門的本分而已。藏在森嚴大門之後的法官，是至高無上的絕對權威。整個法律體系彷彿一只神秘的黑盒子，沒人敢質疑這套威權體制的運作邏輯，也無法明白黑箱作業的各種技巧。人類知道自己身處黑箱之中，卻不知道黑箱的邊界，只能戰戰兢兢苟活。一但違規，只能逆來順受，服從安排。

在此，請各位想像這個黑箱不是由卡夫卡式的法官、律師與警衛把持，而是由各種人工智能及大數據演算法操縱。這些用機器語言寫成的軟體程式碼，與用人類語言寫成的法律條文一樣，都不可避免地受到創造者的主觀願望與價值取向影響──一種偏見的結構。偏見會隨時間沖刷被體制化，逐漸取得了可被稱為「習慣」、「法律」、「民情」等「正統」地位。這個自然演進的過程，在前互聯網時代，可能是漸變。在互聯網席捲全球、快速迭代的世界，就是不斷生滅的劇變。

隨著社會經濟生活演化愈趨複雜多樣，「法律」作為一種規範的上位概念，其內涵與核心價值也必須與時俱進。當掌控資源的新貴們愈發信奉數理邏輯，而非義理人情，有能力利用人類與機器語言「造法」的行為體，若不受制衡，又無法自我警惕，比卡夫卡世界更冷酷無情的人工智能專政就可能隨時降臨，所有捍衛自由、民主與人權的努力，在鋪天蓋地的技術進逼之下，將毫無招架之力。制度殺人，莫此為甚。

「被AI專政」的世界是否已經降臨？曾在紐約對沖基金德劭集團（D. E. Shaw Group）任職的數據科學家、知名部落格「mathbabe」博主，亦是本書作者凱西．歐尼爾（Cathy O’Neil）認為，非常可能。

在哈佛大學主修代數數論並取得數學博士學位的凱西，自幼熱愛數學，在獲得紐約哥倫比亞大學巴納德學院的教職之後，卻毅然決定到德劭擔任量化分析師，透過研究各種數理統計模型與數據分析，在全球資本市場中找尋可持續獲利的交易與投資策略。她與同事所做的工作成果，可以驅動數以兆計的資金在全球市場快速流動，創造鉅額財富。2008年全球金融海嘯，讓她頓覺幻滅：非關道德的數理模型成為華爾街鍊金術士口中的神奇公式，由資產證券化工廠製造出來的金融衍生商品，催生了龐大的房地產信貸泡沫，將金融體系中的槓桿推升到難以為繼的程度，加劇了金融危機的連鎖反應，甚至差一點摧毀全球經濟。

更讓她驚訝的是，金融危機爆發後，新的數據分析技術被應用至更多領域。透過日夜不停地爬梳蒐集自社群媒體、電子商務網站及各類互聯網平台的海量數據，原本用來套利套匯套差價的演算法被用以研究人類的七情六慾、預測消費口味及監控信用風險，計算個人是否值得受高等教育、獲得工作面試、購買醫療保險、甚至戀愛與犯罪的機率。系統工程師們或許出於好意，企圖客觀地找出更有效率的方式解決問題。但很多模型仍然將偏見、誤解和私心納入了演算法，而人類的生活愈來愈受這些系統管控。在數理邏輯至上的世界中，數學定律有絕對權威，數學家、電腦科學家與系統工程師彷彿神壇祭司，透過不透明的卡夫卡式黑箱，對芸芸眾生的未來作出神意的裁決。其決定即使是錯誤或有害，也不容質疑或申訴。

但這類數理模型之所以有商業價值，是因為它們一開始都是被設計用來自動化批量處理信息的特定程式。很多模型源自於數學、化學與物理學等無機領域，而非生物學、心理學、政治經濟社會學等有機領域。在應用與詮釋上一旦出現偏差，將加劇社會兩極分化，讓富者愈富、貧者愈貧，歧視與偏見在演算法的回饋路徑中被保存、複製、放大，可能出現反人性的嚴重後果。民營企業若將這類程式視為商業機密，不公開揭露演算法內部細節與誘因機制，往往讓數學公式成為卸責與擴權的藉口，並利用資訊科技創造出問題正在被解決的幻象，收割政治與商業利益。

在最極端的情境下，我們完全可以想像這些程式成為用數學構建的「袋鼠法庭」（kangaroo court），透過各類物聯網監控技術與不透明的演算法「優化」資源分配，甚至可能在分子生物學的層次對人類進行分類、排序與缺席審判。這些源自人性黑暗面的大數據與人工智能，如果不受監管，有可能撕裂社會，甚至讓人類文明崩潰。但監管的標準該如何制定？誰來負責監管？如果監管者跟不上時代，甚至不可信賴，人類又該如何在AI專政的虛擬實境中維持人性尊嚴？

如果「程式即法律」（Code is Law），那麼「法律也是一種計算」（Law is Computation）；諸如倫理、道德、義理人情等難以量化的概念，其實是環境的一部分。針對「智能行為體」的規範，不論該行為體是程式、個人或企業，都必須充分考慮行為體之間的博弈、競爭、演化，以及所有基於人性的行為體必然會出現的認知謬誤與系統內稟的統計偏差，並設計出對應的救濟與爭端解決機制。這份工作，人類責無旁貸。

更深一層看，何謂智能？笛卡兒曾說：「我思，故我在」，但抽象思維是否為證明高等智能存在的充份且必要條件？如何為智能分等級？用智能方法自動做出的選擇是否應該具有最終的法律效力？若把整個互聯網科技的發展視為人類加速己身演化的努力成果，那麼利用智能技術來鑑別、篩選、拔擢人才的嘗試，是否意味著類似於智人演化出大腦新皮質之後，將尼安德塔人拋棄在演化的歷史斷裂點，將在互聯網的下一階段發生，定義出新舊人類之間不可跨越的鴻溝？

因為互聯網科技跨境的特質，這類議題本質上是全球性的，需要全球範圍的溝通、協調與合作。本書的原文版書名取名自Weapons of Mass Destruction（大規模毀滅性武器）諧音的Weapons of Math Destruction（數學毀滅性武器），是否也需要一份「核不擴散條約」？面對益發混亂的國際局勢與現實主義地緣政治的回歸，霸權級資訊大國與互聯網巨頭競逐全球市場的鬥爭，讓透過全球網絡的「人工智能治理」（AI governance）成為一場不斷進行中的革命，構成對人類巨大的挑戰。

日本中央銀行總裁黑田東彥曾在一場人工智能與金融前沿研討會上說，面對新科技對社會經濟所造成的深層變革，政策制定者不應該過度憂心新科技的負面作用，而不去關注其正面效益。人類與AI應該互補，不能也不該對抗。人類的判斷往往受既有典範影響，有時對變化覺察不足，而這正是AI的強項，可以透過客觀地調整那些因為主觀偏見所忽視的數據關連性與新趨勢。另一方面，直覺、常識與想像力，是目前人工智能最大的弱點。人類真正應該擔憂被AI取代的時候，是人類放棄獨立正面思考的時候。

正如在17世紀創造計算機的法國哲學家巴斯卡（Blaise Pascal）在《沉思錄》中所言：面對強大有力的宇宙，人是一根會思考的蘆葦。即使柔弱如蘆葦，仍可秉持高貴。希望難以量化，前途不可限量。命運沒有基因，夢想沒有極限。

在經典科幻電影《2001太空漫遊》中的「HAL」（該片中一台具有個性與思考能力 、甚至會「失控」的超級電腦）出現前，也許人類應該少擔心些數據，讓夢想與命運驅使我們繼續航向未知的遠方。

【中文版推薦書評二】陳智凱（國立台北教育大學文化創意產業經營學系所教授）

歡迎來到第六病房！

「昨晚我讀完了這本書，感覺莫名驚悚恐怖，好像自己也被關進了第六病房！」這是列寧對俄國知名小說家契訶夫〈第六病房〉（Ward No.6）的讀後感想，同樣地這股莫名恐懼驚悚也適用於本書。

〈第六病房〉這部被稱為「俄國文學中最驚悚的小說」故事內容大致描寫，發生於俄國某一個城鎮的小型醫院裡，「第六病房」是一個專門禁錮精神病患的特殊病房，它由一位粗暴的退伍老兵負責看管，或說是由他負責統治，其中關鍵性的病人格羅莫夫患有嚴重的被迫害妄想症，儘管他出身良好並且曾經擔任過地方法院書記，然而，格羅莫夫脾氣暴躁且言辭尖銳。在某一個憂鬱的秋天早晨，他目睹了兩名被戴鐐銬的犯人由士兵押進監獄，於是他開始妄想自己也可能隨時被捕，終日陷入驚恐泥淖，最終也因憂心被誤認為是命案凶手而正式發瘋，結果被送進了「第六病房」。另一方面，「第六病房」的主治醫生葉菲梅奇，為人謙和有禮，處世不爭，在他偶爾巡視這個被人遺棄的「第六病房」時，被這位激憤莫名有底蘊有意思的病人所吸引，一方面醫生同情他的處境，另一方面他更常巡視病房找他聊天，這個異常的舉動，立即引起全城的議論與猜疑，很快地人們也傳出葉菲梅奇醫生發瘋了的流言。果不出其然，葉菲梅奇醫生最終也被誘騙進入「第六病房」，被當成精神病患禁錮起來，儘管醫生憤怒抗議卻也遭到老兵毒打，很快地醫生因絕望而在病房內死去。如果說，契訶夫的〈第六病房〉是在影射控訴當時俄國沙皇統治下的極權殘暴，它不也同時揭示社會體制的冷漠執行者，最終也慘死在最初由自己設計管理的病房中。

事實上，我和大多數人一樣，在閱讀《大數據的傲慢與偏見》這本書之前，對於大數據如何主導世界及其如何的醜惡毫無概念。本書作者凱西．歐尼爾是一位知名的數據科學家，她取得哈佛大學數學博士學位，並曾任教於隸屬於哥倫比亞大學的巴納德數學系，隨後投身於華爾街的對沖基金公司，在離開金融業之後，更擔任多家新創企業的數據科學家，負責建構消費行為的預測模型，由於這樣的經歷體驗，在一次徹底崩毀的金融事件之後，讓她徹底地體悟到，雖然數學曾經是她熱愛的真理，但是包括次級房貸危機、金融機構破產、失業人口擴增等系列問題背後，竟然都與數學模型脫離不了關係，華麗極美的數學模型就像是共犯，它不只深深地捲入真實世界問題，它還更深化了許多問題困境。

尤其當嚴重缺陷的數學模型再結合現代科技，上述混亂與不幸更是以倍數規模成長。作者提醒我們，如果能夠立即直面數學可能遭到的誤用與濫用，或許我們可能防患未來發生更大的災難。只是事實剛好恰恰相反，更新的數學技術應用與影響範圍更廣，儘管多數的模型可能都是出於好意，但是許多模型也將人的偏見和誤解納入系統之中。於是數學模型變成神祇一樣，既不透明也不受控管，或說只有少數的數學家和電腦科學家才能決定。因此，她懷抱著對於社會正義的熱情，利用自己專擅的數學揭穿大數據美好的假象，她控訴現代生活中無所不在的數學模型如何撕裂我們的社會！數學演算法如何影響我們的生活決策，她在書中揭舉了許多案例，包括學校的教學評鑑、職場的履歷篩選、金融貸款的審核、員工績效的評估、目標選民的鎖定、身體健康的監測、以及假釋名單如何決定等等，再再顯示影響範疇不只是個體，還包括國家與社會的總體未來。

誠如作者所言，理論上數學模型應該是一種公平的機制，因為所有人都是基於相同的規則，數學模型不容易受到偏見的影響。然而事實剛好相反，數學家藉由大數據以免分析結果遭到例外或異常扭曲，結果反而因此懲罰了那些剛好屬於例外情況的人們。因此，這些數學模型可能還會更深化社會的歧視與不平等，例如，貧窮的學生可能更無法獲得就學貸款協助，難以脫貧的教育系統於是成為一種惡性循環，作者將這種獎勵優勢並懲罰弱勢的模型稱為「數學毀滅性武器」（Weapons of Math Destruction），它的英文縮寫WMDs正好與大規模毀滅性武器的縮寫相同，由於這些數學模型會界定自己的事實，並利用這些事實替自己產生的結果辯解。這些數學模型產生的結論，有如神祇一樣發出命令，它不聽人講話，也不會屈服，更不理會人們的逢迎、威脅或誘騙。它還會自我強化延續，進而產生更大且普遍的危害。總的來說，儘管本書不乏用黑色幽默的方式敘述，讓人讀來輕鬆有趣，不過讀後卻更讓人感到害怕不安。



最後讓我們再次回想，〈第六病房〉裡醫生葉菲梅奇與病人格羅莫夫之間的對話，格羅莫夫最初對於醫生的勸誡給予暴怒回應：「我知道上帝用熱血創造了人類，人的機體組織若是有生命，必然對於一切刺激有反應，我用怒吼與淚水回應痛苦，這才叫作生活！」葉菲梅奇醫生則是優雅以對：「儘管我們長期被關在鐵窗裡受盡折磨，不過這樣也好，因為這個病房與舒適的書房之間並無差異，這是多麼愜意的哲學！」格羅莫夫冷冷回應：「沒關係，您藐視了痛苦，不過當您的手指也被房門夾了一下，我想您恐怕也會扯開嗓門大叫！」不幸地是，葉菲梅奇醫生最終果然「手指也被房門夾了一下」並且被順利地誘騙關進「第六病房」，醫生很快地陷入絕望恐懼最後死亡。

生活在現代的社會裡，完全不被數學模型監控幾乎是不可能，這是一種最安靜的恐怖主義。然而，數學模型真的是我們生存世界的絕對真理？當我們盲目地將自己交付給它並且據此生存，是否有可能我們所擁抱的真理，只是讓我們的世界變得更加荒謬扭曲，一個錯誤的數學模型或許還不如沒有模型。無論如何，世界的意義不應該是一個被數學模型計畫好的秘密，不幸地，如果真是如此，歡迎您來到大數據下的第六病房！