專家親授：極深度大數據專用統計理論

前言

大數據的統計計算是進行資料探索和分析採擷的基礎。在實際應用中，隨著資料規模的快速增長，資料會分散式儲存在多台電腦上，即使最簡單的求和操作都需要多台電腦協作完成，並且需要分鐘等級的計算時間，這樣我們將面對以下兩個問題：

需要使用多少資源，即所要付出的成本。

計算需要多少時間，它關係到資料探索分析的效率和效果。

人們都希望花更少的錢，並且希望計算時間更短，但對於某個確定的計算過程，它們是成反比的。這就是我在大數據統計實作中經常遇到的情況，當研究了一個又一個計算效能問題之後，我驚奇地發現，這些不同的演算法間是有共通性的，這就吸引我去深入研究，最後形成了一套完整的理論，包含常用的各種統計量和統計方法。以本書內容開發為基礎的資料分析工具已經在阿里巴巴集團內部的多個部門使用，並取得了顯著效果。

首先舉一個實例，使大家有一個直觀的印象：對於10TB 的資料，大約有

1.25MB 個資料，以求和計算為例，使用很多人熟悉的分散式SQL 進行計

算：

SELECT SUM(COL1) AS COL1_SUM, COUNT(COL2) AS COL2_CNT, …FROM DATA_TABLE;

共執行了4 分44.062 秒，在該SQL 敘述中，每列只算了一個統計量。

然後使用本書的計算方法，計算更多的統計量，包含：總個數、總和、平均值、方差、標準差、標準誤、變異係數、立方和、四次方和、二階原點矩、三階原點矩、四階原點矩、二階中心矩、三階中心矩、四階中心矩、偏度、峰度；最大值、最小值、極差、最大的100 個值、最小的100 個值；資料分佈長條圖、經驗分佈函數、近似百分位元值。如果不同數值的個數小於10000 個，會將其頻數資訊計算出來，並有精確百分位值、中值、眾數；協方差矩陣、相關係數矩陣。獲得所有的這些統計量使用的計算節點數目與用SQL 敘述獲得的大致相同，花費的計算時間為：4 分53.673 秒。

計算這麼多內容才多花約10 秒，說明本書介紹的演算法夠高效吧！但這還只是一個開頭。

接下來，做一個更有挑戰的實驗，除了上面這些統計量，我們再加入一些進階的統計計算，區間估計、參數檢驗、非參數檢驗、線性回歸、共線性分析、方差分析、主成分分析，完成這些需要多久呢？答案是4 分53.766秒。多麼神奇的事情！對這些大數據進行進階統計計算只多用了不到0.1秒。這種計算效率的加強夠顯著了，我們無須再為資源和時間發愁了。

本書透過文字描述、數學運算式和程式碼，將整個統計計算過程清晰地展現在讀者眼前。全書揭示了各種統計概念和方法，以及它們內在的連結，並根據其特點，對各自的計算公式進行恒等轉換，找到更適合大數據的計算方式。書中提供的範例程式碼可以幫助讀者進一步了解演算法細節，便於將書中的方法運用於實際計算。

本書適合對大數據分析有興趣的讀者閱讀，前面的章節比較容易了解，包含了常用統計量的計算；後面的各章節需要讀者具備一些基礎知識，建議讀者根據自己的興趣和工作需要，選擇對應的內容進行參考。

在本書撰寫過程中，感謝初敏、陳一甯、張東暉的支援和幫助，感謝蔡甯、高志涵在演算法方面的討論和交流，感謝鄧鐘強、蔡甯、高志涵、蔣耘、羅毅、譚望達、代斌、周俊、王少萌、姜曉燕、王樂珩、曹傳宇等同事，一同將此理論應用於實際。

因作者水準有限，書中難免有不妥或疏漏之處，敬請廣大專家和讀者批評、指正! 我的電子郵件地址為：yangxu@alibaba-inc.com。

阿里巴巴 楊旭

前言

大數據的統計計算是進行資料探索和分析採擷的基礎。在實際應用中，隨著資料規模的快速增長，資料會分散式儲存在多台電腦上，即使最簡單的求和操作都需要多台電腦協作完成，並且需要分鐘等級的計算時間，這樣我們將面對以下兩個問題：

需要使用多少資源，即所要付出的成本。

計算需要多少時間，它關係到資料探索分析的效率和效果。

人們都希望花更少的錢，並且希望計算時間更短，但對於某個確定的計算過程，它們是成反比的。這就是我在大數據統計實作中經常遇到的情況，當研究了一個又一個計算效能問題之後，我驚奇地發現，這些不...

前言
第1 章 基本概念
1.1 資料類型
1.2 整體和樣本
1.3 參數和統計量
1.4 分散式運算
第2 章 單變數基本統計量
2.1 數量統計量
2.2 頻率統計量
2.3 次序統計量
第3 章 單變數資料的分佈
3.1 長條圖
3.2 經驗分佈
3.3 近似分位數和近似百分位數
3.4 PP、QQ 機率圖
3.5 單變數的基本統計資訊
第4 章 多變數的資料特徵
4.1 協方差
4.2 相關係數
4.3 協方差和相關係數的計算實現
4.4 資料表的基本統計結果
第5 章 資料探索
5.1 擴充長條圖
5.2 交叉表
第6 章 極限定理
6.1 大數定理
6.2 中心極限定理
第7 章 常用的分佈函數介紹
7.1 基本定義
7.2 標準正態分佈（Z 分佈或U 分佈）
7.3 卡方分佈（Χ2 分佈）
7.4 學生T 分佈
7.5 F 分佈
第8 章 常用分佈函數計算
8.1 函式定義
8.2 函數性質及相互間的關係
8.3 分佈函數關係圖
8.4 分佈函數的計算
8.5 產生常用分佈的亂數
第9 章 參數估計
9.1 點估計與區間估計
9.2 單一整體的參數估計
9.3 兩個整體的參數估計
第10 章 假設檢驗
10.1 基本概念
10.2 參數檢驗
10.3 單一整體參數的檢驗
10.4 兩個整體參數的檢驗
第11 章 非參數檢驗
11.1 PEARSON 擬合優度Χ2 檢驗
11.2 兩個變數的列聯表檢驗
11.3 K-S 檢驗
11.4 符號檢驗
11.5 秩統計量和秩檢驗方法
第12 章 方差分析
12.1 單因素方差分析
12.2 雙因素方差分析
第13 章 多元線性回歸
13.1 數學模型
13.2 顯著性檢驗
13.3 計算步驟
13.4 程式實現
13.5 多重共線性
13.6 逐步回歸
第14 章 主成分分析
14.1 計算步驟
14.2 程式實現
14.3 應用舉例
第15 章 判別分析
15.1 距離判別
15.2 FISHER 判別
15.3 BAYES 判別
15.4 判別演算法的綜合模型
15.5 應用舉例
第16 章 模型評估曲線
16.1 相關概念
16.2 定義
16.3 計算實現
參考文獻

前言
第1 章 基本概念
1.1 資料類型
1.2 整體和樣本
1.3 參數和統計量
1.4 分散式運算
第2 章 單變數基本統計量
2.1 數量統計量
2.2 頻率統計量
2.3 次序統計量
第3 章 單變數資料的分佈
3.1 長條圖
3.2 經驗分佈
3.3 近似分位數和近似百分位數
3.4 PP、QQ 機率圖
3.5 單變數的基本統計資訊
第4 章 多變數的資料特徵
4.1 協方差
4.2 相關係數
4.3 協方差和相關係數的計算實現
4.4 資料表的基本統計結果
第5 章 資料探索
5.1 擴充長條圖
5.2 交叉表
第6 章 極限定理
6.1 大數定理
6.2 中心極限定理...