大數據時代下的統計學(第2版)

第1章 大資料時代下的統計學 1
1．1　統計學――天使還是惡魔 2
【知識點】統計學的定義 2
1．2　概率――上帝的指引 3
【案例1】硬幣的指引 3
【案例2】賭徒的錯覺 4
【知識點1】隨機性 5
【知識點2】概率 5
1．3　小概率事件≠必然不會發生的事件 7
【案例】挑戰者號太空梭失事 7
【知識點】“必然會發生”的事件和“必然不會發生”的事件 7
1．4　你真的瞭解資料嗎？ 8
【案例】淘寶的客戶評價體系 9
【知識點】資料的類型 10
1．5　資料來自哪裡？ 11
【案例】大資料，大偏差――穀歌的流感預測模型真的靠譜嗎？ 12
【知識點1】二手資料 13
【知識點2】相關關係和因果關係 13

第2章 樣本魅影 15
2．1　樣本――窺一斑而見全豹，觀滴水而知滄海 16
【案例1】客戶滿意度調查 16
【案例2】救護車壟斷業務調查 17
【知識點】隨機樣本、方便樣本和自願回應樣本 18
2．2　抽樣――嘗一勺鍋裡的靚湯 20
【案例1】紅豆和綠豆 20
【案例2】“捉放法”估算魚苗成活率 21
【案例3】被解雇的市場調研部員工 22
【知識點1】簡單隨機抽樣 23
【知識點2】抽樣中存在的錯誤風險 24
【知識點3】訪問員 25
2．3　不回應誤差――沉默不是金 26
【案例】“不回應”的影響有多大 26
【知識點1】不回應 27
【知識點2】如何降低不回應率 27
2．4　措辭的藝術――僧推/敲月下門 29
【案例】幾字之差對民眾支持率的影響 29
【知識點1】響應誤差 30
【知識點2】有效性和可靠性 30
2．5　大資料時代，當“樣本”已成往事 32
【案例】Farecast，美國創業夢 32
【知識點】大資料的4V特徵 33

第3章 描述資料 36
3．1　均值――可能會說謊的天平 37
【案例1】中關村創業者平均年齡39歲 37
【案例2】令人“啼笑皆非”的統計局資料 38
【知識點】均值計算 38
3．2　尋找中位數 39
【案例1】騰訊筆試題：大資料量尋找中位數 39
【案例2】淘寶賣家評分體系 40
【知識點1】求取中位數 42
【知識點2】四分位數 42
3．3　標準差、標準誤，傻傻分不清楚 45
【案例1】均值-方差證券資產組合理論 45
【案例2】語文成績調研 45
【知識點1】標準差 46
【知識點2】標準誤 47
3．4　數據視覺化――“雲想衣裳花想容” 49
【知識點1】什麼是資料視覺化？ 50
【知識點2】資料視覺化的主要應用 50
【知識點3】資料視覺化的工具 51

第4章 正態“女神” 53
4．1　期望――量化你的預期 54
【案例1】擲骰子和伯努利試驗 54
【案例2】賭場就是概率場 55
【知識點1】概率分佈 56
【知識點2】期望 57
【知識點3】方差 59
4．2　大數定律――為什麼十賭九輸 60
【案例1】澳門風雲 60
【案例2】誰會是被騙的人 61
【知識點】大數定律 62
4．3　正態分佈――大道至簡，大美天成 63
【案例】高爾頓釘板 63
【知識點】正態分佈 64
4．4　中心極限定理 66
【案例】肯德基和麥當勞的博弈 66
【知識點】中心極限定理 67

第5章 統計推斷 70
5．1　點估計――統計學家比間諜幹得漂亮 71
【案例1】第二次世界大戰中的德軍坦克數 71
【案例2】首家新鮮咖啡速遞服務企業 72
【知識點1】樣本統計量和總體參數 73
【知識點2】點估計 74
5．2　置信區間――責善切戒盡言 75
【案例】美國蓋洛普公司的民意調查 75
【知識點1】置信水準 76
【知識點2】置信區間 76
5．3　兩類錯誤：有罪被判無罪和無罪被判有罪哪個更嚴重 78
【案例1】法律中的人文精神 78
【案例2】抗擊埃博拉要避免兩類錯誤 79
【知識點1】零假設和備擇假設 80
【知識點2】兩類錯誤 81
5．4　假設檢驗――“湊巧”可以拒絕嗎？ 82
【案例1】奶茶情緣 82
【案例2】咖啡新鮮嗎？ 84
【知識點1】顯著性水準 85
【知識點2】p值 85
【知識點3】統計顯著 86
【知識點4】統計顯著對比實際顯著 86
【知識點5】假設檢驗對比置信區間 87
【知識點6】單側檢驗對比雙側檢驗 87
5．5　p 值――打開“潘朵拉魔盒”的鑰匙 89
【案例】p值變了，結果就變了 90
【知識點1】p值的歷史和思想 91
【知識點2】p值誤用 92

第6章 變數間的關係 94
6．1　卡方分析――細膩的眼神裡豈容得半粒沙 94
【案例1】仙道遲到事件發生率分析 94
【案例2】性別和文化程度是相互獨立的嗎？ 95
【知識點1】卡方分佈 96
【知識點2】卡方檢驗 97
6．2　相關性分析――早起的鳥兒有蟲吃 100
【案例1】早起的鳥兒有蟲吃 100
【案例2】化妝品銷售額與廣告費的關係分析 101
【知識點1】相關關係 102
【知識點2】相關分析 103
【知識點3】相關表、相關圖和相關係數 104
【知識點4】t統計量 105
6．3　ANOVA――地域，我們沒有什麼不同 105
【案例】“地域歧視”問題 105
【知識點1】方差分析 106
【知識點2】方差分析統計模型 107
【知識點3】離差平方和及其分解 109
【知識點4】均方 110
【知識點5】F統計量 111
【知識點6】方差分析表 112
6．4　回歸分析――對不起，其實我也想長高 116
【案例1】子女身高的遺傳發現 116
【案例2】身高的地區差異分析 117
【知識點1】回歸分析 118
【知識點2】隨機誤差項 119
【知識點3】最小二乘法 119
【知識點4】回歸分析T檢驗 121
【知識點5】回歸分析F檢驗 122
【知識點6】擬合優度 123

第7章 統計雜談 124
7．1　為什麼對回歸情有獨鍾 124
【回歸和電影】 126
【回歸和手遊】 128
7．2　調查問卷中的分類變數 132
【疼痛】 133
【Rank-Invariant】 135
【Svensson Method】 135
【工作環境和員工滿意度】 137
7．3　條件概率 139
【生男生女的問題】 140
【門後的世界：到底是誰錯了】 141
7．4　極大似然估計――看起來最像 144
【白狐，iPhone 6 Plus和房價】 144
7．5　統計軟體 146
【名門閨秀SAS】 147
【國民初戀SPSS】 148
【小家碧玉Stata，Minitab，Excel】 148
【清新蘿莉R】 150
7．6　貝葉斯 151
【起源】 152
【核心思想】 153
【自拍杆和藍牙耳機】 155
7．7　來自星星的統計陷阱 157
【問卷調查的潛在陷阱】 157
【王老吉狀告加多寶】 158

第8章 大數據，在水一方 161
8．1　洛陽紙貴――大數據思維 161
【案例1】罩杯和“敗家”程度 166
【案例2】外灘踩踏事件 168
【案例3】大數據和途牛網 170
8．2　大資料驅動運營 171
【案例】DataEye，資料驅動手遊運營 176
8．3　商業智慧――決策者的錦囊 178
【案例】廣告業的商業智慧 179
8．4　市場智慧――商業智慧的衍生智慧 180
8．5　消費智慧――當資料成為一種服務 183