●國內第一本解說STaTa ——多達45 種貝葉斯迴歸分析運用的教科書。
●STaTa+AI+Bayesian超強組合,接軌世界趨勢,讓您躋身大數據時代先驅。
●超強統計軟體STaTa,簡單易懂,功能齊全,廣獲肯定。
●結合「理論、方法、統計」,讓讀者能精準使用Bayesian迴歸。
●內文包含大量圖片示意,配合隨書光碟資料檔,實地演練,學習更有效率。
5G時代的來臨,聯手(AI)人工智慧邁入嶄新紀元,未來可預見日常將出現更密集的AI科技,更可能改變產業型態、生活體驗,甚至是人類的思考模式。
AI又稱機器智能,迄今已是一門顯學,屬於自然科學和社會科學的交集。其中機器學習演算法及Bayesian後驗機率等貝氏推論,不僅適合傳統科學研究法,更適合於當今大數據(big data)時代的來臨。
本書詳細說明STaTa運用中,45種Bayesian迴歸,以及實務上已非常成熟的AI統計應用技術,可供人工智慧、機器學習等自然科學和社會科研究者使用。內文包含大量圖片示意,搭配隨書附贈光碟,簡潔易懂,學習效果更顯著。
作者簡介:
張紹勳
學歷:國立政治大學資訊管理博士
現職:國立彰化師大專任教授
經歷:致理技術專任副教授
張任坊
學歷:國立海洋大學商船系
現職:長榮海運三副
研究助理
張博一
學歷:國立中央大學通訊工程所
現職:柏格科技公司工程師
作者序
自 序
測不準原理究竟是我們觀察的原因,還是物質本身的內秉性質?這要先對機率進行一番哲學思辯。人工智慧(AI) 的精神,就是科學的結果非全部都屬「決定論(determinism)」,而應再融入「機率論(probability theory)」。目前人工智慧(AI) 基於仿生學、認知心理學、Bayesian 迴歸、機率論、統計學和經濟學的演算法等等也在逐步發酵中。AI 又稱機器智能,是指由人製造出來的機器所表現出來的智能。通常人工智慧是指通過普通電腦程式的手段實現的人類智能技術。該詞也指出研究這樣的智慧型系統是否能夠實現,以及如何實現的科學領域。
AI 又稱「製造智慧機器的科學與工程」,迄今,已是一門顯學,屬於自然科學和社會科學的交集。AI 實際應用,包括:FinTech、財經預測、機器視覺、指紋識別、人臉識別、視網膜識別、虹膜識別、掌紋識別、專家系統、自動規劃等貝氏迴歸的預測。機器學習演算及Bayesian 後驗機率等貝氏推論,不僅適合傳統科學研究法,更適合於大數據(big data) 時代的來臨。
機器要達到具備思考能力的統合強人工智慧,比較流行的方法包括統計方法,計算智慧和傳統意義的AI。目前有大量的生產線工具應用了人工智慧,其中包括搜尋和數學最佳化、邏輯推演「貝葉斯定理(Bayesian theorem)」。
迄今STaTa 己提供45 種Bayesian 迴歸,供人工智慧、機器學習等自然科學及社會科研究者使用,這種AI 統計應用技術已非常成熟。但坊間仍無「人工智慧」貝氏迴歸分析的書,殊實可惜。
數學中的貝氏定理,只要「前提( 先驗) 越清楚、預測就越精準」,例如「颱風對臺北市帶來災情」在沒有絕對的把握時,就在規定期限前蒐集最多的資料,再做最後決定。
本書貝氏45 種迴歸,採用貝氏條件機率的原理,故適合學科,包括:生物醫學、財經、物理學、哲學和認知科學、邏輯學、數學、統計學、心理學、電腦科學、控制論、決定論、不確定性原理、社會學、教育學、經濟學、犯罪學、智慧犯罪等。
STaTa 是地表最強統計軟體,作者撰寫一系列STaTa 書籍,包括:
1. 《 STaTa 與高等統計分析的應用》一書,該書內容包括:描述性統計、樣本數的評估、變異數分析、相關、迴歸建模及診斷、重複測量等。
2. 《 STaTa 在結構方程模型及試題反應理論》一書,該書內容包括:路徑分析、結構方程模型、測量工具的信效度分析、因素分析等。
3. 《 STaTa 在生物醫學統計分析》一書,該書內容包括:類別資料分析 ( 無母數統計)、logistic 迴歸、存活分析、流行病學、配對與非配對病例對照研究資料、盛行率、發生率、相對危險率比、勝出比(Odds Ratio) 的計算、篩檢工具與ROC曲線、工具變數(2SLS)⋯Cox 比例危險模型、Kaplan-Meier 存活模型、脆弱性之Cox 模型、參數存活分析有六種模型、加速失敗時間模型、paneldata存活模型、多層次存活模型等。
4. 《 Meta 統計分析實作:使用 Excel 與 CMA 程式》一書,該書內容包括:統合分析(meta-analysis)、勝出比(Odds Ratio)、風險比、4 種有名效果量(ES) 公式之單位變換等。
5. 《 Panel-data 迴歸模型:STaTa 在廣義時間序列的應用》一書,該書內容包括:多層次模型、GEE、工具變數(2SLS)、動態模型等。
6. 《 STaTa 在總體經濟與財務金融分析的應用》一書,該書內容包括:誤差異質性、動態模型、序列相關、時間序列分析、VAR、共整合等。
7. 《 多層次模型 (HLM) 及重複測量:使用 STaTa》一書,該書內容包括:線性多層次模型、vs. 離散型多層次模型、計數型多層次模型、存活分析之多層次模型、非線性多層次模型等。
8. 《 模糊多準評估法及統計》一書,該書內容包括:AHP、ANP、TOPSIS、Fuzzy 理論、Fuzzy AHP⋯等理論與實作。
9. 《邏輯斯迴歸及離散選擇模型:應用 STaTa 統計》一書,該書內容包括:邏輯斯迴歸、vs. 多元邏輯斯迴歸、配對資料的條件Logistic 迴歸分析、MultinomialLogistic Regression、特定方案Rank-ordered logistic 迴歸、零膨脹orderedprobit regression 迴歸、配對資料的條件邏輯斯迴歸、特定方案conditional logit model、離散選擇模型、多層次邏輯斯迴歸等。
10《有限混合模型(FMM):STaTa分析(以EM algorithm做潛在分類再迴歸分析)》一書,該書內容包括:FMM:線性迴歸、FMM:次序迴歸、FMM:Logit 迴歸、FMM:多項Logit 迴歸、FMM:零膨脹迴歸、FMM:參數型存活迴歸等理論與實作。
11《多變量統計之線性代數基礎:應用 STaTa 分析》一書,該書內容包括:平均數之假設檢定、多變量變異數分析(MANOVA)、多元迴歸分析、典型相關分析、區別分析(discriminant analysis)、主成份分析、因素分析(factor analysis)、集群分析(cluster analysis)、多元尺度法(multidimensional scaling, MDS)等。
12《人工智慧 (AI) 與貝葉斯 (Bayesian) 迴歸的整合:應用 STaTa 分析》,該書內容包括:機器學習及貝氏定理、Bayesian 45 種迴歸、最大概似(ML) 之各家族(family)、Bayesian 線性迴歸、Metropolis-Hastings 演算法之Bayesian 模型、Bayesian 邏輯斯迴歸、Bayesian multivariate 迴歸、非線性迴歸:廣義線性模型、survival 模型、多層次模型。
此外,研究者如何選擇正確的統計方法,包括適當的估計與檢定方法、與統計概念等,都是實證研究中很重要的內涵,這也是本書撰寫的目的之一。為了讓研究者能正確且精準使用Bayesian 迴歸,本書內文儘量結合「理論、方法、統計」,期望能夠對產學界有拋磚引玉的效果。
最後,特感謝全傑科技公司(http://www.softhome.com.tw),提供STaTa 軟體,晚學才有機會撰寫STaTa 一系列的書,以嘉惠學習者。
張紹勳 敬上
自 序
測不準原理究竟是我們觀察的原因,還是物質本身的內秉性質?這要先對機率進行一番哲學思辯。人工智慧(AI) 的精神,就是科學的結果非全部都屬「決定論(determinism)」,而應再融入「機率論(probability theory)」。目前人工智慧(AI) 基於仿生學、認知心理學、Bayesian 迴歸、機率論、統計學和經濟學的演算法等等也在逐步發酵中。AI 又稱機器智能,是指由人製造出來的機器所表現出來的智能。通常人工智慧是指通過普通電腦程式的手段實現的人類智能技術。該詞也指出研究這樣的智慧型系統是否能夠實現,以及如何實現的科學領域。
AI ...
目錄
自 序
Chapter 01 人工智慧的基礎:機器學習理論及貝氏定理(Bayes' theorem) 1
1-1 人工智慧(Artificial Intelligence, AI) .........................................................................9
1-1-1 AI 研究的議題 .............................................................................................10
1-1-2 強人工智慧vs. 弱人工智慧 .......................................................................14
1-1-3 AI 研究方法 .................................................................................................15
1-2 機器學習(machine learning) ...................................................................................19
1-2-1 監督vs. 非監督機器學習 ...........................................................................24
1-2-2 機器學習的演算法(algorithm) ...................................................................26
1-2-3 何謂Features( ≈自變數)、Training、Label( ≈類別依變數)? ...............40
1-2-4 監督機器學習⊃多變數線性迴歸(machine learning: linear regression with
multiple variables) ........................................................................................42
1-2-5 機器學習:梯度下降演算法(gradient descent algorithm) ........................67
1-2-6 機器學習:特徵縮放(feature scaling) .......................................................81
1-3 參數估計:最大概似估計、最大後驗(Max posterior)、貝葉斯估計 ................81
1-3-1 何謂參數估計? ..........................................................................................83
1-3-2a 估計法一:最大概似估計(MLE) ≠概似比(LR) ....................................87
1-3-2b 最大概似估計法(MLE) 做分類 .................................................................97
1-3-3 估計法二:最大後驗(Max posterior) 估計 ............................................ 101
1-3-4 估計法三:貝葉斯估計 ........................................................................... 105
1-4 期望最大化(EM) 演算法 ..................................................................................... 107
Chapter 02 貝葉斯(Bayesian) 迴歸有45 種 117
2-1 貝氏定理與條件機率( 重點整理) ...................................................................... 118
2-1-1 貝氏機率(Bayesian probability) .............................................................. 121
2-1-2 貝氏(Bayes) 定理、條件機率................................................................. 123
2-2 貝葉斯推論(Bayesian inference) ......................................................................... 136
2-2-1 貝葉斯法則(Bayesian rule) ..................................................................... 138
2-2-2 推論「排他性和窮舉命題」的可能性(inference over exclusive and
exhaustive possibilities) ............................................................................ 143
2-2-3a 貝葉斯推論之數學性質(mathematical properties) ................................. 145
2-2-3b 貝葉斯決策理論 ....................................................................................... 153
2-2-4 貝葉斯推論之案例 ................................................................................... 160
2-2-5 頻率統計和決策理論之貝葉斯模型,誰優?Bayesian Information
Criterion (BIC) .......................................................................................... 165
2-2-6 貝葉斯認識論(Bayesian epistemology) .................................................. 167
2-2-7 貝葉斯推理的影響因素 ........................................................................... 170
2-3 常見的分布有15 種 .............................................................................................. 175
2-4 STaTa likelihood-based Bayesian 迴歸有45 種 ................................................... 204
2-4-1 STaTa 共12 類:45 種Bayesian 迴歸 .................................................... 205
2-4-2 Metropolis-Hastings 演算法(bayesmh 指令) 和Monte Carlo ............... 215
2-4-3 貝葉斯線性迴歸的基本原理 ................................................................... 225
2-5 貝葉斯統計及正規化(Bayesian statistics and Regularization) ........................... 228
2-5-1 過度適配vs. 不足適配(overfitting and underfitting) ............................. 229
2-5-2 Bayesian statistics 及正規化(regularization) ........................................... 231
2-5-3 最佳成本函數之正規化(optimize cost function by regularization) ....... 232
Chapter 03 最大概似(ML) 各家族(family):機器學習技術 237
3-1 最大概似(ML) 之Regression 家族(family) ....................................................... 238
3-1-1 迴歸分析介紹 ........................................................................................... 239
3-1-2 線性迴歸(linear regression) ..................................................................... 241
3-2 多元迴歸的自變數選擇法有三:子集合選取法、正規化、資訊準則法
(bayesstats ic 指令) ............................................................................................... 246
3-2-1 迴歸模型與正規項(regulation):Ridge 迴歸、Lasso 迴歸原理 .......... 253
3-2-2 脊迴歸/嶺迴歸(ridge) 的原理:多重共線性(ridgeregress 外掛指令)
................................................................................................................... 262
3-2-3a 迴歸正規項(regulation):lasso 迴歸、Ridg 迴歸、elastic-net 迴歸
(lassoregress、ridgeregress、elasticregress 外掛指令) .......................... 266
3-2-3b 機器學習演算法:套索迴歸(Lasso Regrission)(lassoregress、lasso2、
elasticregress 指令) .................................................................................. 283
3-2-4a 機器學習演算法:脊迴歸(Ridge Regression)(rxridge、rxrcrlq、rxrmaxl
等14 個指令) ........................................................................................... 288
3-2-4b Ridge 迴歸分析:解決共線性(rxridg 外掛指令) ................................. 293
3-2-5 機器學習演算法:彈性網路多工Lasso 迴歸(multi task Lasso)
(elasticregress 指令) ................................................................................. 299
3-2-6 邏輯斯迴歸(logistic regression) .............................................................. 301
3-3 機器學習法:隨機森林( 外掛指令randomforest)、支援向量機( 外掛指令
svmachines) ............................................................................................................ 314
3-3-1 機器學習法:隨機森林( 外掛指令:randomforest) ............................. 314
3-3-2 機器學習法:支援向量機SVM( 外掛指令:svmachines) ................... 326
3-4 最大概似的Kernel-Based 家族:小樣本、非線性及高維模型識別 ................ 349
3-4-1 非線性分類之核函數 ............................................................................... 353
3-4-2 支援向量機(SVM) 分類器:原型、對偶型、核技巧、現代方法 ...... 354
3-4-3a 支援向量機(SVM) 原理:小樣本、非線性及高維模型識別 .............. 361
3-4-3b 支援向量機做分類(svmachines 外掛指令) ........................................... 368
3-4-4 核迴歸/分段加權迴歸(kernel regression):非單調函數(lpoly、
npregress、teffects 指令) ......................................................................... 377
3-5 最大概似(ML) 之Bayes-Based 家族( 前導字「bayes: 某迴歸」指令) ......... 399
3-5-1 判別模型(discriminative model) 與生成模型(generative model) ......... 404
3-5-2 高斯判別分析(Gaussian discriminant analysis) ...................................... 407
3-5-3 樸素貝葉斯(naive bayes) 演算法............................................................ 412
Chapter 04 貝葉斯(Bayesian) 線性迴歸之原理 421
4-1 貝葉斯(Bayesian) 分析 ........................................................................................ 425
4-2 參數估計:最大概似估計、最大後驗估計、貝葉斯估計 ................................ 430
4-3 貝葉斯(Bayesian) 線性迴歸 ................................................................................ 433
4-3-1a 線性迴歸之參數估計最小平方法 (OLS) ................................................ 433
4-3-1b 貝葉斯(Bayesian) 迴歸之原理 ................................................................ 436
4-3-2 貝葉斯線性迴歸:參數分布、預測分布、等價核 ............................... 440
4-3-3 貝葉斯線性迴歸:學習過程、優缺點、貝葉斯脊迴歸 ....................... 447
4-4 貝葉斯多元線性迴歸之原理(Bayesian multivariate linear regression) ............. 451
Chapter 05 Bayes 線性迴歸(「bayes: regress」、「bayesgraph
diagnostics」、「bayesstats ic」指令) 457
5-1 線性Bayesian 迴歸( 先rsquare、再「bayes: regression」指令) ..................... 459
5-1-1 OLS 先挑所有自變數的最佳組合( 再Bayes 線性迴歸) ..................... 460
5-1-2 OLS 先挑所有自變數的最佳組合,再Bayes 線性迴歸
(bayes : regress y x1 x2 x3) ....................................................................... 477
5-2 方法一Bayes 線性迴歸(bayes : regress ⋯指令) ............................................... 483
5-2-1 Bayes 線性迴歸及預測值:使用內定概似及先驗(uninformative data)
(bayes : regress ⋯指令) ........................................................................... 483
5-2-2 Bayes 線性迴歸:自定概似及先驗(informative data)(bayes : regress
⋯指令) ..................................................................................................... 491
5-3 方法二Bayes 線性迴歸(bayesmh : regress ⋯指令) ......................................... 501
5-4 線性Bayesian 迴歸模型( 改用bayesmh 指令) ................................................. 512
5-4-1 Bayesian 估計之原理及實作(「bayes: regress」指令) ......................... 516
5-4-2 MCMC 收斂性(convergence) 及假設檢定(hypotheses testing) ............ 525
5-4-3 先驗(Priors):Gibbs 採樣(sampling) ..................................................... 529
5-4-4 自定先驗(Custom priors)......................................................................... 533
5-5 Bayes 迴歸:縮減模型vs. 完全模型,誰優?(bayesmh、bayesstats ic 指令) ... 535
Chapter 06 Metropolis-Hastings 演算法之Bayesian模型(bayesmh 指令) 545
6-1 bayesmh 指令:「線性vs. 非線性」、「單變量vs. 多變量」、「連續vs. 間斷」
模型有8 大類 ........................................................................................................ 552
6-2 bayesmh 指令之範例 ............................................................................................ 573
6-2-1 範例1:OLS 線性迴歸(regress)vs. Bayesian 線性迴歸(bayes : regress)
................................................................................................................... 574
6-2-2 範例2:Bayesian normal linear regression with noninformative prior
( 未自定參數的分布) .............................................................................. 583
6-2-3 範例3:Bayesian linear regression with informative prior( 自定參數
的分布) ..................................................................................................... 588
6-2-4 範例4:Bayesian normal linear regression with multivariate prior ........ 591
6-2-5 範例5:檢查收斂性(Checking convergence) ........................................ 594
6-2-6 範例6:貝氏事後估計值摘要(Postestimation summaries) .................. 599
6-2-7 範例7:敵對模型的比較(Model comparison) ...................................... 601
6-2-8 範例8:假設檢定(Hypothesis testing)( bayestest model、interval
interval) ..................................................................................................... 603
Chapter 07 Bayesian 邏輯斯模型、多項邏輯斯模型(bayes: logistic、bayes: mlogit 指令) 607
7-1 邏輯斯迴歸原理 .................................................................................................... 608
7-2 Bayesian logit 迴歸分析(bayes: logit、bayes : logistic 指令) ........................... 612
7-2-1 範例1:貝氏Logistic 迴歸(bayes: logit 指令) ..................................... 614
7-2-2 範例2:自定之資訊先驗(informative prior):貝氏Logistic 迴歸
(bayes: logit 指令) .................................................................................... 618
7-3 對照組:multinomial logistic 迴歸分析(bayes: mlogit 指令) ........................... 621
7-3-1 多項(multinomial) 邏輯斯迴歸之原理 ................................................... 622
7-3-2 Multinomial Logit 迴歸分析:職業選擇種類(mlogit 指令) ................ 628
7-3-3 多項邏輯斯迴歸分析:乳房攝影(mammograph) 選擇的因素
(mlogit 指令) ............................................................................................ 637
7-4 實驗組:Bayesian multinomial logistic 迴歸分析:健康保險(bayes: mlogit
指令) ..................................................................................................................... 650
Chapter 08 聯立方程式:Bayesian multivariate 迴歸(bayes: mvreg 指令) 659
8-1 多變量Bayesian 迴歸分析(bayes: mvreg 指令) ................................................ 660
Chapter 09 非線性迴歸:廣義線性模型(GLM)(Baye: glm 指令) 667
9-1 廣義線性模型之原理 ............................................................................................ 668
9-2 當依變數是比例(proportion) 時,如何做迴歸(glm 指令)? .......................... 671
9-3 廣義線性迴歸(glm、baye: glm 指令) ................................................................ 684
Chapter 10 Survival 模型(baye: streg 指令) 693
10-1 存活分析的原理 .................................................................................................... 694
10-1-1 存活分析之定義 ....................................................................................... 695
10-1-2 為何存活分析是臨床研究最重要的統計法? ....................................... 698
10-1-3 存活分析之三種研究目標 ....................................................................... 703
10-2 存活分析Bayesian 迴歸 (baye: streg 指令) ........................................................ 704
Chapter 11 多層次(multilevel) 模型(bayes: mixed 指令)717
11-1 多層次模型的原理 ................................................................................................ 720
11-2 Bayesian 多層次模型:重複測量(bayes: mixed 指令) ..................................... 726
Chapter 12 計數(count) 模型、Zero-Inflated 模型(bayes: tpoisson、baye: zinb 指令) 743
12-1 傳統原理:Count 依變數:Zero-Inflated Poisson 迴歸 vs. negative binomial
迴歸 ........................................................................................................................ 744
12-1-1 Poisson 分配 ............................................................................................. 745
12-1-2 負二項分配(Negative Binomial Distribution) ......................................... 751
12-1-3 零膨脹(Zero-Inflated)Poisson 分配 ......................................................... 753
12-2 單層次:Zero-Inflated Poisson 迴歸vs. 負二項迴歸(zip、zinb 指令) ............ 755
12-2-1 傳統:Zero-Inflated Poisson 迴歸vs. 負二項迴歸(zip、zinb 指令) ... 755
12-2-2 Bayesian Poisson 迴歸(bayes: poisson)、Bayesian 零膨脹Poisson
迴歸(bayes: zip 指令) ............................................................................. 776
12-2-3 Zero-Inflated negative binomial 模型(bayes: zinb 指令) ....................... 792
12-3 Zero-Inflated ordered probit regression 練習:釣魚(zip 指令) .......................... 804
12-4 零膨脹Ordered probit 迴歸分析:抽菸嚴重度(zioprobit 指令) ...................... 805
12-5 截斷(truncated) Poisson 迴歸分析(bayes: tpoisson 指令) ................................ 813
12-5-1 截斷迴歸(truncated regression)(truncreg 指令) ..................................... 813
12-5-2 Bayesian 截斷Poisson 迴歸(truncated regression)(bayes: tpoisson 指令)
................................................................................................................... 832
Chapter 13 Bayesian 自我迴歸模型 (bayes : regress yL1.y 指令) 841
13-1 時間列序之統計:自我迴歸(autoregressive models) ........................................ 842
13-1-2 ARIMA 建構模型之步驟 ......................................................................... 844
13-2 穩定數列之自我迴歸模型(AR) .......................................................................... 846
13-2-1 AR(1) 模型 ................................................................................................ 848
13-2-2 AR(2) 模型 ................................................................................................ 854
13-2-3 何謂穩定性( 定態)? ............................................................................. 858
13-3 Bayesian 自我迴歸之建模過程(bayes : regress y L.y 指令) ............................. 859
參考文獻 875
自 序
Chapter 01 人工智慧的基礎:機器學習理論及貝氏定理(Bayes' theorem) 1
1-1 人工智慧(Artificial Intelligence, AI) .........................................................................9
1-1-1 AI 研究的議題 .............................................................................................10
1-1-2 強人工智慧vs. 弱人工智慧 .......................................................................14
1-1-3 AI 研究方法 ..................................................................