機器學習（Lasso推論模型）：使用Stata、Python分析

Chapter 1 AI⊃機器學習(ML)的關係

本書旨在揭開機器學習(machine learning, ML) 神祕面紗。機器學習是人工智慧應用最成熟的領域。迄今人工智慧(artificial intelligence, AI) 在各學門的研究成效，有目共睹。例如：武漢肺炎疫情嚴峻，成功大學利用AI 來分類高風險病人臨床檢疫效率，從原需150 分鐘縮短到不到30 分鐘，接著國衛院發明快篩只要15 分。其實，2020 年1 月9 日世界衛生組織警告中國有類似流感的疫病在中國武漢爆發，美國疾病管制及預防中心於1 月6 日提早接獲通知，但是一家加拿大健康監控平臺卻早在2019 年12 月31 日，成功使用AI 預測有肺炎疫情爆發。

一、人工智慧是什麼？

　　人工智慧定義可分兩部分，即「人工」及「智慧」；「人工」就是人造的，此定義爭議不大，但仍須考慮什麼是人力所能及製造的？或者人的智慧程度有沒有高到可以創造人工智慧的地步等。總括來說，「人工」就是通常意義下的人工系統。

什麼是「智慧」，問題比較大，它涉及到：意識(consciousness)、自我(self)、心靈(mind) 及無意識的精神(unconscious mind) 等問題。我們了解的智慧係指人本身的智慧，這是普遍認同的觀點。但是人們對自身智慧的理解都非常有限，對構成人的智慧必要元素的了解更有限，故很難定義什麼是「人工」製造的「智慧」了。因此AI 研究往往涉及對人智慧本身的研究，「意識」是人對環境及自我的認知慧力及認知的清晰程度。例如：某人覺察到了什麼、某人覺察到了自我。有時候，「覺察」與「意識」是同義詞，二者甚至可以相互替換。目前在意識本質的問題上還存有諸多疑問，例如：在自我意識方面。意識這個問題涉及到認知科學、神經科學、心理學、電腦科學、社會學、哲學等。

希爾勒曾用意識及身體思考來批評「強AI」，認為感知是生物整個物理特性，意識是有目的性的，但AI 電腦沒有目的性，因此電腦沒有意識。

AI 主要功效包括：知識推理、規劃、機器學習的統計、自然語言處理、電腦視覺、機器人等。簡單來說，機器人像是人的「身軀」，AI 則是人的「腦」，物聯網(IoT) 人體的五種感官（臉上的眼、耳、口、鼻，各掌控一種感官，再加上觸覺）。

　　今日的AI 又稱狹窄的AI（或弱AI），因為它被設計為執行狹窄的任務（例如：功能僅限財金預測、人臉辨識、Internet 搜尋、僅自駕汽車、醫學診斷等）。然而，許多研究者的長期目標是建立一般化AI（AGI 或強AI）。雖然狹窄的AI在任何特定任務中都可能勝過人類（例如：下棋或解決方程式），但AGI 在幾乎每一項認知任務中都會勝過人類。

AI 技術應用，從Apple 手機的語音助理Siri 到自動駕駛汽車等，這些AI 議題正在迅速發展。雖然科幻小說通常將AI 描述為具有類似人類特徵的機器人，但AI 可以包含從Google 的搜尋演算法(alogorithm)、IBM's Watson 到自動武器的任何東西。

例如：醫療的AI 應用，就有四個重要的議題：機器學習(ML)、自然語言處理(NLP)、電腦視覺及智慧機器人（例如：達文西手術機器人）。由此可見，機器學習是AI 應用之一，它使系統能夠自動學習並從經驗中進行改進，而無需進行明確的編程(programming)。ML 專注於計算機程序的開發，該程序可以訪問數據並用它來自我學習。

Chapter 1 AI⊃機器學習(ML)的關係

本書旨在揭開機器學習(machine learning, ML) 神祕面紗。機器學習是人工智慧應用最成熟的領域。迄今人工智慧(artificial intelligence, AI) 在各學門的研究成效，有目共睹。例如：武漢肺炎疫情嚴峻，成功大學利用AI 來分類高風險病人臨床檢疫效率，從原需150 分鐘縮短到不到30 分鐘，接著國衛院發明快篩只要15 分。其實，2020 年1 月9 日世界衛生組織警告中國有類似流感的疫病在中國武漢爆發，美國疾病管制及預防中心於1 月6 日提早接獲通知，但是一家加拿大健康監控平臺卻早在2019 年12 月31 日，成功...

AI近年來蓬勃發展，各界紛紛投入發展AI 應用+ 機器學習(ML)，本書旨在揭開機器學習(machine learning, ML) 神祕面紗。ML 理論旨在設計及分析一些讓電腦可以自動「學習」的演算法(algorithm)。ML 是基於統計。統計學既是機器學習的理論基礎也是工具之一。機器學習≠統計學，機器學習模型旨在做出最準確的預測及推論(inference)；統計模型則在推論變數之間的關係。然而，除非您精通這些概念，否則說機器學習全都與準確的預測有關，統計模型是為推理而設計，這種說法是毫無意義。早期，機器學習方法並不直接適用於計量經濟學及相關領域的研究問題，但自從Stata 提供很棒的Lasso 因果推理，情況就改觀。
　　
1. 機器學習：是不依賴於規則(rule-based) 設計的數據學習演算法。
2. 統計模型：以數學方程形式顯示變數之間關係的程式化表達。
　　
機器學習是AI 應用最成熟的領域。機器學習算法有望在未來10 年內取代全球25%的工作。例如：武漢肺炎疫情嚴峻，成功大學結合醫學中心、大學資源，將多項智慧醫療整合為「智慧醫療臨床決策輔助系統」，利用人工智慧來分類高風險病人臨床檢疫效率，從原需150 分鐘縮短到不到30 分鐘。又如，2020 年1 月9 日世界衛生組織警告中國有類似流感的疫病在中國武漢爆發，美國疾病管制及預防中心(CDC) 於1 月6 日提早接獲通知，但是一家加拿大健康監控平臺卻早在2019 年12 月31 日，成功使用AI預測有肺炎疫情爆發。如今，這種AI 機器學習成功的案例，不勝枚舉。
　　
外表來看，統計建模及ML 所使用的方法很相似，事實此，二者的演算法是不相同的。實際上，你需要認清兩件事：(1) 老論的統計學≠ ML？(2) 統計模型與ML 最著的Lasso 推論模型（k 摺交叉驗證、收縮率）有何不同？
　　
由於有許多統計模型（線性vs. 非線性）都可做出預測，但是預測準確性並不是那麼優。相對地，ML 模型提供更彈性求解的合理性，例如：從高度解釋性的Lasso 迴歸至不可滲透的神經網路、梯度下降法、隨機森林等。通常，早期ML 提高預測準確性但卻犧牲了可解釋性，但Stata 推出Lasso 推論模型就很棒，兼具預測及推論（是否拒絕研究假設）二項功能。
　　
最小平方法(OLS) 的最大弱點，就無法由樣本內數據來推論未來樣本外的估計值。例如：預估各國感染武漢確診高峰落在那時間點？這類非線性、非結構問題且即時性大數據，就需要機器學習之Lasso 推論模型。
　　
在AI、工業4.0、物聯網、無人銀行、無人車、金融/ 股市交易等等情況下，系統的讀入的即時資料是大數據（例如：感測器例子），可惜OLS 模型的重點是特徵數據(X) 與結果變數(Y) 之間的關係，而不是對未來數據（樣本外）進行預測，此過程謂之統計推論(inference)，但仍不算預測。可惜，人們若仍然無視OLS 七項assumption 就直接對該模型進行預測，自然會產生無法想像的偏誤。即使OLS 有納入穩健性(robust)、多層次模型、加權最小平法、panel-data 等，評估模型的方式，但仍缺乏測試集（多次交叉驗證）、及有效「控制」外來變數的干擾，OLS 充其量只能做到：校正模型迴歸參數（截距，β）的顯著性(significant)、穩健性(robust) 的改善。在人工智慧(AI) 與機器學習，Stata 推出Lasso 推論模型具有「預測+ 推論」二個強項功能。
　　
本書旨在教你學會兩件事：(1) 機器學習之熱門統計，包括：Lasso、Ridge、elastic net 迴歸、隨機森林等，以及Lasso 因果推論模型；(2) 區別機器學習與古典統計模型有何不同？
　　
迴歸是一種預測的技術，為解決預測如何實現推論？於是，Stata v16 版提供Lasso推論模型分三大類（連續依變數、二元依變數、計數依變數），三者分別對應至：Lasso 線性迴歸、Lasso 邏輯斯迴歸、Lasso 計數迴歸，這三種迴歸的目的都是在挑選懲罰項的最佳λ、α 值，挑選法又細分：雙選法(double-selection)lasso、artialing-out lasso、cross-fit partialing-out、工具變數之分模(partialing-out lasso instrumental-variables)等迴歸。以上這些機器學習法旨在以不同方式和技術實現MSE、BIC 最小化的目標，籍此評估迴歸性能(performance)，即透過「預期的線性／曲線的適配程度」來衡量。機器學習就是透過某種必要的手段（正規項／懲罰項／收縮率／交叉驗證）來解決問題。

機器學習的應用非常的廣泛，例如：AI 推薦商品、天氣預測、人臉辨識、指紋辨識、車牌辨識、醫學診斷／圖形辨識、測謊、證券分析、自然語言處理、機器人、Lasso 推論模型（預測+ 推論功能）等。
　　
本書適合經濟學、醫藥學、生物醫學、自動控制、財經、運輸學、哲學和認知科學、邏輯學、管理會、會計學、心理學、電腦科學、控制論、決定論、不確定性原理、社會科學、教育學、罪學、智慧犯罪等研究。
　　
最後，特感謝全傑科技公司(http://www.softhome.com.tw)，提供Stata 軟體，晚學才有機會撰寫Stata 一系列的書，以嘉惠學習者。

AI近年來蓬勃發展，各界紛紛投入發展AI 應用+ 機器學習(ML)，本書旨在揭開機器學習(machine learning, ML) 神祕面紗。ML 理論旨在設計及分析一些讓電腦可以自動「學習」的演算法(algorithm)。ML 是基於統計。統計學既是機器學習的理論基礎也是工具之一。機器學習≠統計學，機器學習模型旨在做出最準確的預測及推論(inference)；統計模型則在推論變數之間的關係。然而，除非您精通這些概念，否則說機器學習全都與準確的預測有關，統計模型是為推理而設計，這種說法是毫無意義。早期，機器學習方法並不直接適用於計量經濟學及相關領域的研究...

Chapter 1 AI⊃機器學習(ML)的關係
1-1 著名的AI系統、頂尖AI公司、最佳AI軟體
1-2 人工智慧(AI)之發展
1-3 機器學習(machine learning, ML)概論

Chapter 2 機器學習(ML)與統計關係
2-1 統計、估計
2-2 機器學習(ML)之原理(principles)
2-3 機器學習(ML)之重點整理
2-4 類神經網路(ANN)：單一隱藏層
2-5 深度學習(deep learning)：多個隱藏層
2-6 深度學習結構，有4 種：DNN、DBN、CNN、CDBN
2-7 深度學習法（非線性模型）：兩個隱藏層的多層感知器（外掛指令mlp2）

Chapter3 機器學習式迴歸之重點整理（經濟學）
3-1 統計vs. 機器學習之懲罰項迴歸（感測器來收集大數據）
3-2 特徵選擇(feature selection)（從眾多預測變數組合中，挑有意義Xs）
3-3 收縮估計法(shrinkage estimation)：自變數（特徵）選擇採用嵌入法
3-4 交叉驗證：避免一次性訓練及測試資料所產生偏誤（Stata 外掛指令loocv 指令）
3-5 降維（降低維度，dimension reduction）
3-6 非線性模型(nonlinear models)：神經網路
3-7 集成學習(ensemble learning)：決策樹、迴歸樹至隨機森林
3-8 大數據(big data)

Chapter 4 Lasso 迴歸、平方根lasso 迴歸、elastic net迴歸、Lasso 推論模型：（收縮法shrinkage）
4-1 Ridge 迴歸(L2-norm)、Lasso(L1-norm)、elastic net 迴歸是什麼？
4-2 三種Lasso 迴歸式，挑選最佳λ之收縮率（lasso linear 等指令）
4-3 elastic net 迴歸⊃Ridge 迴歸（elasticnet linear等指令）
4-4 ridge、Lasso、elastic net 迴歸的比較（外掛指令lassoregress、ridgeregress、elasticregress）
4-5 Lasso 推論模型：連續依變數
4-6 Lasso 推論模型：二元依變數

Chapter 5 梯度下降法、深度學習分析
5-1 梯度下降法(gradient descent)
5-2 Python 實作：梯度下降演算法(gradient descent algorithm)

Chapter 6 集成(ensemble) 學習：隨機森林迴歸（外掛指令randomforest）
6-1 決策樹(decision tree)：森林的元素
6-2 隨機森林的原理
6-3 隨機森林之迴歸分析：連續依變數（外掛指令randomforest）
6-4 隨機森林之迴歸分析：二元依變數外掛指令(randomforest)

Chapter7 支援向量機(SVM) 之分析（外掛指令：svmachines）
7-1 機器學習法：支援向量機(SVM) 的原理
7-2 支援向量機之迴歸分析：連續依變數（外掛指令svmachines）
7-3 支援向量機之迴歸分析：類別依變數（外掛指令svmachines)

Chapter 1 AI⊃機器學習(ML)的關係
1-1 著名的AI系統、頂尖AI公司、最佳AI軟體
1-2 人工智慧(AI)之發展
1-3 機器學習(machine learning, ML)概論

Chapter 2 機器學習(ML)與統計關係
2-1 統計、估計
2-2 機器學習(ML)之原理(principles)
2-3 機器學習(ML)之重點整理
2-4 類神經網路(ANN)：單一隱藏層
2-5 深度學習(deep learning)：多個隱藏層
2-6 深度學習結構，有4 種：DNN、DBN、CNN、CDBN
2-7 深度學習法（非線性模型）：兩個隱藏層的多層感知器（外掛指令mlp2）

Chapter3 機器學習式迴歸之重點整理（經濟學）
3-1 統計...