把統計學剝光光︰用直覺就能理解的12個統計原理，揭穿資料操弄的假象

第一章
學統計的重點：從統計分析結論，辨別真實或謊言

統計幫助我們處理數據，而數據實質上只是一個比較炫麗的名詞，本質上是資訊。有時候，數據只是通盤大局裡的瑣碎細節，比如運動統計數字就是這樣；或有時候，數據可讓我們看透人類生活的特質，比如吉尼指數。
但統計可以幫忙，或是希望統計能幫上忙的問題還包括：

• 如何抓到在標準化考試上作弊的學校？
• Netflix怎知你喜歡哪一種電影？
• 如果不做人體致癌實驗，如何找出哪些物質或行為會致癌？
• 替手術病患禱告會讓他們的術後結果變得比較好嗎？
• 拿到菁英大學的學位，真的可以帶來任何經濟上的益處嗎？
• 是什麼因素導致自閉症的病例大增？

事實上，這個世界正在製造愈來愈多的數據，且速度愈來愈快。但，就如《紐約時報》所言：「數據只是知識的原物料。」（Data is merely the raw material of knowledge. ）當我們要用資訊來達成某些有意義的目的，比如欲找出實力被低估的棒球員或是如何支付更合理的薪資給教師等，統計無疑都是最強的輔助工具。以下說明統計如何賦予原始數據更多「形式上」的意義。

1.描述與比較：容易過於簡化而誤導結論
保齡球得幾分是一種描述性的統計量，打擊率也是，多數5 歲以上的美國運動迷都已經很熟悉運動場上的描述性統計。無論是體育還是生活等面向，我們使用數字來摘要資訊。比如米奇．曼托（Mickey Mantle）算是好球員嗎？他整個職業生涯裡的打擊率是0.298。在棒球迷眼中，這是很有意義的一句話，而且很了不起，因為此數字濃縮他長達18個賽季的職業生涯表現，即便用一個數字總括一個人畢生的事業成就有些傷感。當然，棒球迷也都知道，除了打擊率外，還有其他描述性統計量更適合總結球員在場上的價值。
我們可以用學科平均（grade point average，簡稱GPA）來衡量高中生與大學生的學術表現，成績單上的考評會對應一個數值，通常A代表4分，B代表3分，C代表2分，依此類推。高中生畢業要申請大學、大學生畢業要應徵工作時，學科平均都是評估此人學術潛力的便利工具。學科平均3.7的人，明顯比同一間學校裡拿到2.5分的人要強。這個指標也成為很好的描述性統計，因為容易評估且容易理解，也很容易對不同學生做出比較。
但這不完美。學科平均無法反映出不同學生選修的課程，可能存在不同的難易度。專挑相對沒有挑戰性的課而拿到3.4分的學生，與修了微積分、物理與其他艱澀科目拿到2.9分的學生，如何比較？
我就讀的高中就試著解決這個問題：校方給相對困難的課程比較高的權重：「菁英」班（honors class）裡拿到A的對應分數是5分，而不是一般的4分。然而，這又製造出問題。我母親很快就發現這套「修正」學科平均的方法造成新的扭曲。比如像我這般修了很多菁英班課程的學生，如果在非菁英班課程（如體育或健康教育）拿到A，反而會拉低整體學科平均，但這些課裡拿A已經是最高分了。因為這樣，我爸媽不准我高中時去上駕駛課，以免就算我的表現無懈可擊，仍會拉低我進入競爭激烈大學並繼續寫作暢銷書的機會。他們寧可反向操作，花錢讓我在夏日晚間自費上駕訓班。
這種作法很神經嗎？對。但，這就是本書要說明的主題之一，也就是過度仰賴任何描述性統計數值就可能出現誤導的結論，或引發不樂見的行為。描述性統計的存在就是為了簡化，勢必會犧牲細微之處或細節，任何要處理數字的人都必須理解這一點。

2.推論：從抽樣母體做縝密推估
有多少遊民生活在芝加哥街頭？已婚人士性行為的頻率有多少？這些問題看起來八竿子打不著，但事實上，兩個問題都可以利用基本統計工具來回答，即使無法盡善盡美。統計的重要功能之一，就是善用目前手上的數據，針對仍舊無法掌握全部資訊的更大問題做出縝密的推估。
簡言之，我們可以使用「已知世界」裡的知識，對「未知世界」做出縝密的推論。我們先從遊民問題開始。要計算大型都會區裡有多少遊民，成本很高且後勤支援工作的難度也大。然而，為了能提供社會服務、確定領取各州與聯邦政府相關所得的資格，以及在國會獲得代表權等等，估計出這群人的數量非常重要。
有一種重要的統計方法稱之為「抽樣」（sample），亦即在小區域（例如人口普查區）收集數據，接著用這些數據對整個城市裡的遊民人口做出縝密的判斷或推論。比起點算所有遊民，抽樣所需的資源較少；如果做的方式正確，推斷同樣很精準。
政治民意調查就是一種抽樣。研究機構會嘗試聯繫一群大致上代表大母體的家庭，詢問他們對特定議題或候選人的看法。這顯然比聯絡全州或全國每一個家庭便宜許多，且速度也較快。民意調查與研究機構蓋洛普認為，調查1,000個家庭的意見在方法學上就已經很扎實，可以和嘗試調查美國每一個家庭的意見得出大致相同的結果。
我們就是用這套方法得出美國人多久上一次床、跟誰以及是哪種類型的性愛。1990 年代中期，芝加哥大學（University of Chicago）的全國意見研究中心（National Opinion Research Center）做了一項雄心萬丈的研究，調查美國人的性行為，針對具有代表性的大量美國成年人樣本進行面對面的詳細訪談，之後得出結論。如果你繼續讀下去，第10章就會揭示答案。

3.評估風險以及其他與機率有關的事件
賭場長期會賺錢，這是一定的，但未必表示無時無刻都賺錢。如果把周邊附加的花俏東西拿掉，某些一擲千金的大賭客可能也才贏幾千美元。整個博弈產業的根基正是機率賽局，這表示，每一次丟出骰子或是每一輪的牌面結果都不確定。但與此同時，相關事件（比方說21點牌局裡拿到21點或是轉盤轉出紅色）的根本機率則是已知。當根本機率對賭場有利，即可確定隨著下注的數目愈來愈大，即便把附加玩意拿掉，「莊家」仍舊會勝出。
這是一種很強大的現象，可以套用到賭場以外的人生。很多企業會評估各種逆境的風險，它們無法完全消除這些風險，就像賭場不能保證不會出現你賭21點把把都贏的事件，但是，任何面對不確定性風險的企業都可以藉由設計流程來管理風險，把發生天災或是產品缺失等負面結果的機率降到可接受的程度，而任何要處理風險的模型，都必須以統計當作基礎。當個人或企業無法消除不能承受的風險，就會另尋保障。
整個保險業的根基，就是向客戶收費，以便在車禍或住宅火災等負面事件發生時提供保障。保險業的賺錢之道不是靠消除這些事件，畢竟車禍和房子失火是天天都有的事，有時候車子甚至會撞進房子裡，引發大火。保險業的賺錢之道是靠著收取保費，確保其收到的保費總額，遠高於發生車禍與失火時預期得支付的理賠金額。當然，保險公司也會試圖降低預期要支付的理賠金額，比如鼓勵保戶要安全駕駛、在游泳池畔裝設圍欄、在每間臥室安裝煙霧偵測器等。
機率在某些時候也可以用來抓作弊。卡維隆考試保全公司（Caveon Test Security）專攻他們所謂的「數據犯罪學」，找出指向可能作弊的模式。舉例來說，當這家公司發現學校或試場裡舉辦的考試，出現一模一樣錯誤答案的情形高到根本不可能的地步時，就是一項警示，畢竟在完全巧合之下出現此種模式的機率不到百萬分之一。背後的數學邏輯來自於，當一大群學生都能答對題目時，無法從中得到太多資訊，畢竟他們之所以答對，有可能是因為他們很聰明，但也有可能是因為作弊的結果。
然而，當同一群考生答錯，不應該一直都寫出相同的錯誤答案，如果發生此種情況，代表他們抄來抄去或是透過簡訊互傳答案。故而這家公司試圖找出考生答對高難度問題比答對基本問題更多的考試（這代表考生事前拿到答案），以及「從錯的改成對的」的塗改次數遠遠高於「從對的改成錯的」的考試（這表示老師或行政人員在考試之後改答案）。
當然，使用機率也有侷限。事情偏偏這麼巧，一大群考生連錯都錯的一模一樣；事實上，評估的學校愈多，愈有可能僅因為機緣巧合而出現這種情況。一次統計上的異常，不能證明行為不當。
55歲的達爾瑪‧金尼（Delma Kinney）是亞特蘭大人，2008年時在樂透彩刮刮樂刮中百萬美元，之後又在2011年贏得百萬美元的刮刮樂獎金。同一個人中2次刮刮樂百萬獎金的機率，大約是25兆分之一，但警方能因此機率就逮捕金尼先生嗎？當然不能，不過或許可以問問他是否有任何親戚任職於該州的樂透業務單位。
機率是火藥庫裡的武器之一，一定要搭配良好的判斷來使用。

4.找出重要的關係（統計偵查工作）
抽菸會致癌嗎？這個問題我們已經有答案了，但是得出答案的過程並不如一般人想的那麼直接了當。科學方法要求，如果我們要檢定某一項科學假說，應該要執行對照實驗，實驗組與對照組的唯一差異只有相關變項（例如抽菸）。如果我們觀察到兩群人之間出現某些明顯不同的結果（例如罹患肺炎的情況），我們就可以充分推論相關變項就是導致結果的因素。
我們不能在人身上做這種實驗。如果我們的暫定假說（working hypothesis）是抽菸致癌，把一大群大學畢業生分成兩小群：吸菸者和不吸菸者，然後在20年後的同學會上看誰罹癌，是很不道德的作法，畢竟預期會出現負面效果時，不能故意讓人體受試者暴露在危險中。
現在，你可以說我們不用進行道德上有疑慮的實驗，也能觀察到抽菸的影響。我們是否可以跳過整套花俏的方法論，直接在20年後的同學會上，比較畢業後有吸菸與沒吸菸者的罹癌率？
不行。除了是否吸菸外，兩者在其他方面很可能也有差異。舉例來說，吸菸者很可能也有其他習慣，比方說大量飲酒或飲食習慣不良，這些都對健康不利。如果20年後的同學會上吸菸的那一群明顯不健康，我們不知道要把結果歸因於吸菸這件事，還是很多吸菸者剛好也有的其他不健康因素上。我們用來當作分析根據的數據，也有很嚴重的問題：罹癌病得很重的吸菸者，不太可能參加20年同學會，畢竟已經身故的吸菸者不可能會出現。因此，在20年後同學會上分析與會人員健康情形，都會因為班上最健康的人最可能出席這一點而發生嚴重的缺陷。倘若該班同學畢業的時間愈久，比如40年或50年，那麼偏差愈大。
我們不能把人當成實驗室裡的白老鼠，因此，統計就會變得很像是好警探要做的事。統計是數據呈現出的雜亂線索，統計分析則是偵查工作，透過統計分析，把原始數據變成有意義的結論。

謊言、爛謊言和統計
就算在最好的條件之下，統計分析也罕能揭露「真相」。我們通常都是以不完美的數據為基礎提出間接論點，因此，在理智面追求真誠坦白的人，大有理由不認同統計結果或其隱含的意義。在最根本的層次，我們可能連統計回答的問題都不認同。運動狂熱分子永遠都會爭論誰是「有史以來最出色的棒球員」，因為「最出色」並沒有客觀定義。花俏的描述性統計可以為這個問題提供資訊，但永遠都無法得出肯定的答案。
誰說每一個會用統計的人都是明智又誠實？我之前提過，這本書的緣起是要向《別讓統計數字騙了你》致敬，後者最初於1954年出版，暢銷量超過百萬本。現實就是，你可以用統計騙人，或者，你也可能犯下無心之過。無論哪一種，統計分析上隨附的數學精準度，可以掩飾一些很嚴重的胡說八道。這本書要詳細談一談很多常見的統計錯誤與誤讀，但目的是讓你可以辨別，而非拿來使用。

讓我們回到章名，學統計的重點是什麼？
• 為了摘要大量的數據。
• 為了做出更好的決策。
• 為了回答重要的社會議題。
• 為了找到行為模式，讓我們從賣尿布到抓犯人都可以做到更精益求精。
• 為了抓到作弊的人與起訴罪犯。
• 為了評估警政、方案、藥物、療程和其他創新效果。

如果以上這些你都做得到，而且穿上德國時尚品牌雨果博斯的西裝或黑色短裙很上相，你或許也能成為《CSI：迴歸分析》節目的明日之星。

第一章
學統計的重點：從統計分析結論，辨別真實或謊言

統計幫助我們處理數據，而數據實質上只是一個比較炫麗的名詞，本質上是資訊。有時候，數據只是通盤大局裡的瑣碎細節，比如運動統計數字就是這樣；或有時候，數據可讓我們看透人類生活的特質，比如吉尼指數。
但統計可以幫忙，或是希望統計能幫上忙的問題還包括：

• 如何抓到在標準化考試上作弊的學校？
• Netflix怎知你喜歡哪一種電影？
• 如果不做人體致癌實驗，如何找出哪些物質或行為會致癌？
• 替手術病患禱告會讓他們的術後結果變得比較好嗎？
• 拿到菁英大學的學位，真的...

前言
我為何痛恨微積分卻深愛統計學

　　我和數學間的關係向來不睦。我不喜歡為了計算而計算，現實世界裡用不上的神妙公式也無法讓我讚嘆。我特別討厭高中的微積分課，理由很簡單：根本沒有人想告訴我為什麼我需要學微積分。拋物線以下的面積是什麼？誰想知道？
　　奇怪的是，物理非常仰賴微積分，雖然我不喜歡微積分，但我很愛物理。為什麼會這樣？因為物理有很明確的目的。我非常清楚記得高中時物理老師證明給我們看，讓我們知道在世界大賽（World Series）時如何運用基本加速度公式，預估打出去的全壘打會飛多遠。這很酷，而且，這套公式還能應用在重大的社會議題之上。
　　上了大學，我完全沉醉在機率論裡，同樣的，這也是因為機率給了我洞見，讓我看到有意思的真實人生情境。以後見之明來說，現在我可以說，我討厭上微積分課並不是因為我討厭數學，而是沒有人對我說明學習微積分的意義為何。如果你不會僅因為公式本身很精妙就心馳神迷（很明顯，我就絕對不會），那麼微積分不過就是很多乏味又機械化的公式而已，至少我學到的是這樣。
　　這就讓我講到了統計。我愛統計。不管是DNA檢測還是買樂透彩券的愚行，都可以用統計來解釋。統計可以幫助我們辨識有哪些因子和癌症與心臟病等疾病相關，可以幫助我們看出有人在標準化考試（standardized test）上作弊。統計甚至可以在你上益智節目時幫你贏下大獎。我小時候有一部很有名的電視節目叫《做個交易吧》（Let’s Make a Deal），主持人是名氣同樣響亮的蒙提．霍爾（Monty Hall）。
每次節目快要結束時，過關的參賽者會和霍爾一起站在3道門前，編號分別為1、2、3。蒙提．霍爾會向參賽者解釋，說其中一道門後有大家都想要的大獎，比方說一輛新車，另外兩道門後則各有一頭山羊。規則很直接了當：參賽者選一道門，門後面是什麼就得到什麼。
　　每一位和蒙提．霍爾站在一起的參賽者，都有三分之一的機會選中打開來後會亮出大獎的那一道門，但《做個交易吧》節目裡有個花樣，這一招自此之後就讓統計學家開心不已。每當參賽者選了一道門後，蒙提．霍爾會打開剩下兩道門中的其中一道，打開後永遠都是一頭山羊。為了方便舉例，且讓我們說參賽者選了1號門，霍爾打開了3號門，一頭活生生的山羊就站在舞台上。現在，1號門和2號門都還沒揭曉。如果1號門後是大獎，參賽者就贏了；如果大獎在2號門後，他就輸了。但接下來的事情更有趣：霍爾會回過頭來問參賽者要不要改變心意，更換選項（以本例來說，就是棄1號改選2號）。請記住，這兩道門都還關著，參賽者唯一得到的新資訊，就是他沒挑的那道門後出現了一頭山羊。
他應不應該換？答案是應該。為什麼？請參見第5章。

用直覺也能理解重要的統計概念
　　統計的矛盾之處是，從打擊率到總統大選民調，統計無所不在，但這門學科素來以無趣且難以親近聞名。很多統計學的書籍與課程裡面有太多的數學和術語。相信我，技術面的細節固然重要，而且其實很有趣，但如果你不理解背後的直覺，這也都只是外星文而已。然而，若你不認為自己有什麼理由一定要學統計，你可能根本也不在乎什麼直覺。我保證，本書每章都會回答我追問高中微積分老師的那個問題：這有什麼意義？
　　這本書要講的是直覺。直覺無涉數學、等式或圖表；我保證用到直覺時，一定都有明確且帶有啟發性的目的。在此同時，本書裡有很多範例，就是為了說服你真的大有理由去學統計。統計真的可以很有趣，而且大部分的統計真的沒那麼難。上完史密斯老師讓人痛苦的大學先修微積分課之後，還沒久到天荒地老，我就已經開始起心動念想寫這本書。

統計技術運用失當，結論反而荒謬

　　上一段的重點是，統計核心工具並不符合直覺，也不讓人覺得可親，但其實是的；現在，我要提一個顯然完全相反的論點：任何有數據且有電腦的人，只要敲幾下鍵盤就可以進行很複雜的統計分析程序，從這一點來說，統計又可親過了頭了。這裡會發生的問題是，如果數據很彆腳，或者如果統計技術運用失當，就會得出造成嚴重誤導的結論，甚至可能很危險。
　　來看看以下這則假設性的網路新聞跑馬燈：工作時常短暫休息的人比較可能死於癌症。想像一下當你在網路上亂逛時，跳出了這條標題。這個看起來很了不起的研究總共調查了36,000位辦公室員工，這是很龐大的資料集！最終得出的結論是：說自己上班時經常會休息個10分鐘的人，未來5年得癌症的機率比工作時不會離開崗位的人高了41％。顯然，我們需要針對這項發現做點什麼，比如可能要發起全國性的認知運動，防止員工在上班時小休。
　　或者，我們需要把事情想得更清楚一點，思考員工在這10分鐘的休息時間做了什麼。我的專業經驗指出，很多說自己會經常在上班時暫離辦公室的人，都是成群結隊溜到大樓大門外抽根菸。我會進一步推論，致癌根源的很可能是香菸，而不是上班時小休這件事。這個範例是我編的，我刻意編的格外荒謬，但我向你保證，一旦你去拆解現實中很多讓人生氣的統計結果，荒謬程度也不相上下。
　　統計是很強大的工具：使用得當時很有幫助，交到有心人士手裡則很可能製造災難。這本書不會讓你成為統計專家，但將會教你如何對這個領域養成相當的重視和尊重，才不會做出相當於「用統計殺人」這等事。

　　本書的要旨，是要把重要的統計概念變得能用直覺就能理解也更可親，也希望讓每一個有意理解數字與數據非凡能力的人都能受益。
　　這不是一本教科書，無論是涵蓋的主題或是用來說明主題的方法，都很自由。這本書的用意，是要利用日常生活中的相關性來介紹統計概念。
　　科學家如何做出結論，指出有哪些因素會致癌？民意調查如何運作，以及如何出錯？誰「用統計說謊」，他們又是怎麼辦到的？信用卡公司如何使用你的購物數據來預測你會不會付不出錢？
　　如果你想理解新聞背後的數字，想要理解數據非凡且愈來愈壯大的力量，你就要知道這些概念。綜上所述，我希望能說服你接受最初由瑞典數學家兼作家安德烈斯．鄧克爾斯（Andrejs Dunkels）發現的一件事：用統計說謊很簡單，但少了統計學，要說實話很難。
而我還有一項更大膽的抱負：我認為，你甚至會愛上統計。統計的基本概念非常有趣，而且與人息息相關。關鍵是，要把重要的概念和會造成阻礙的晦澀難懂技術面細節分開來，這才是赤裸裸的統計學。

前言
我為何痛恨微積分卻深愛統計學

　　我和數學間的關係向來不睦。我不喜歡為了計算而計算，現實世界裡用不上的神妙公式也無法讓我讚嘆。我特別討厭高中的微積分課，理由很簡單：根本沒有人想告訴我為什麼我需要學微積分。拋物線以下的面積是什麼？誰想知道？
　　奇怪的是，物理非常仰賴微積分，雖然我不喜歡微積分，但我很愛物理。為什麼會這樣？因為物理有很明確的目的。我非常清楚記得高中時物理老師證明給我們看，讓我們知道在世界大賽（World Series）時如何運用基本加速度公式，預估打出去的全壘打會飛多遠。這很酷，而且，這...

推薦序　算力飆升的AI 時代，統計學是你的救命稻草！／周秉輝
各界推薦
前言　　　我為何痛恨微積分卻深愛統計學

第1章　　學統計的重點：從統計分析結論，辨別真實或謊言
第2章　　描述性統計：誰是有史以來最出色的棒球員？
第3章　　誤導性的描述：「他人很好！」與背後未說出的「可是」
第4章　　相關性：Netflix 怎麼知道我喜歡什麼電影？
第5章　　基本機率：不要替 99 美元的印表機加購延長保固
第6章　　機率的問題：過度自信的數學天才，翻車了！
第7章　　數據的重要性：丟進來的是垃圾，得出的也會是垃圾
第8章　　中央極限定理：統計界的詹皇
第9章　　推論：為何我的統計學教授認為我可能作弊？
第10章　 民意調查：我們如何知道 64％的美國人支持死刑？
第11章　 迴歸分析：是什麼原因減少你的壽命？　
第12章　 常見的迴歸分析錯誤：必要的警告標示─不要用研究害死人
第13章　 方案評估：就讀哈佛真的會改變你的人生？

結語　　　統計學可以幫忙回答的五個問題
附錄　　　統計軟體
致謝　　　本書的幕後推手

推薦序　算力飆升的AI 時代，統計學是你的救命稻草！／周秉輝
各界推薦
前言　　　我為何痛恨微積分卻深愛統計學

第1章　　學統計的重點：從統計分析結論，辨別真實或謊言
第2章　　描述性統計：誰是有史以來最出色的棒球員？
第3章　　誤導性的描述：「他人很好！」與背後未說出的「可是」
第4章　　相關性：Netflix 怎麼知道我喜歡什麼電影？
第5章　　基本機率：不要替 99 美元的印表機加購延長保固
第6章　　機率的問題：過度自信的數學天才，翻車了！
第7章　　數據的重要性：丟進來的是垃圾，得出的也會是垃圾
第8章　　中央極限定...