圖解AI與深度學習的運作機制

1開啟AI時代的深度學習
～現在的AI熱潮要從2012年的「Cat Paper」開始說起～

報紙或電視節目幾乎每天都會提到與AI有關的話題，而深度學習正是引起這波AI熱潮的關鍵，使社會出現了很大的改變。

AI熱潮
AI是英語Artificial Intelligence的首字母簡稱，譯為人工智慧。
我們幾乎每天都可以在報紙或電視新聞上看到與AI有關的報導。
「AI自動駕駛即將實現。」
「AI在癌細胞的影像判讀上有很大的幫助。」
類似的例子不勝枚舉。

AI為什麼會在現在引起熱潮呢？在二十一世紀初期，有誰會想到有這樣的熱潮呢？
一切要從發表於2012年的「Cat Paper」開始說起。

「Cat Paper」與深度學習
事情發生在深度學習發表的那一年，也就是2012年。美國Google公司在這一年6月發表的研究結果中提到「在沒有他人幫助的情況下，AI成功自行識別出貓」。後來，這篇論文在AI界中被稱做Cat Paper。
Cat Paper之所以是劃時代的論文，是因為研究過程中研究人員完全沒有告訴電腦任何一個貓的特徵。電腦會自己分析出貓的特徵，之後就算看到完全沒看過的貓咪圖像，也能判斷「這就是貓」，這代表電腦已能「自己從資料中學習」。
再重複一次，Cat Paper之所以是劃時代的論文，是因為它「讓電腦能自己從資料中學習」。而這個「Cat Paper」所使用的方式就是Deep Learning，可譯為深度學習。而深度學習這個概念，正是改變時代的關鍵。在生產、流通、語言、交通、醫療、製藥、教育、軍事、照護等許多領域，都引起了革命性的改變。

2 深度學習與AI
～與過去的AI不一樣的地方在於「自己從資料中學習」

深度學習一詞常與AI同時出現。AI是二十世紀後半誕生的詞彙，讓我們回顧從那時到現代的歷史吧，這樣就能了解深度學習在AI中的定位了。

AI的歷史
AI並不是最近才成為熱門話題。以前的主流媒體界曾出現過兩波AI熱潮，現代則是第三波AI熱潮。
第一波熱潮發生於1950年代，是電腦開始於社會普及的時候。人們鉅細靡遺地告訴機器（電腦）各種計算方法，希望能夠創造出人工的智慧（也就是AI）。
這種設計AI的方式叫做規則主導法（rule based）。當時的人們樂觀地認為，只要單方面塞進許多邏輯、規則，就可以創造出「知性」，也就是智慧。
1950年代時，記憶體十分昂貴，且大容量的記憶媒體還沒出現，所以當時的人們只能希望透過塞入大量邏輯來實現知性。
「單靠邏輯實現『知性』」這種規則主導的方式，即使用在現代電腦上也無法成功。更不用說性能相對差了許多的1950～1960年代電腦，只能得到十分貧乏的結果。
順帶一提，「人工智慧」（也就是Artificial Intelligence）一詞，就是在這個年代誕生的。第一波熱潮的AI概念，與目前科幻電影或動畫中的AI概念最為相近。
第二波熱潮開始於1980年代。當時人們在設計AI時，不只將邏輯輸入至機器（電腦），也會輸入知識。這種方式稱做專家系統，活躍於現代生產工廠，讓工廠中的機器手臂能夠專精某種特定工作。
第二波熱潮的AI之所以能成功，主因是記憶體與硬碟的大幅降價，降低了收納知識的工具成本。
不過，這種方法也沒有辦法實現AI（人工智慧）一詞原本的概念。專家系統無法產生能識別出貓咪這種複雜物體的「智能」。
現在的第三波熱潮起於「Cat Paper」發表的2012年之後。以讓機械（電腦）「自己從資料中學習」的概念開發AI，也就是深度學習活躍的開始。
如同我們之後會介紹的，深度學習是將人類腦神經細胞的網路（神經網路）模式化的AI實現方法。這樣的網路讓「自己從資料中學習」一事化為可能。
第三波AI熱潮之所以能夠實現，是因為我們能夠輕易獲得豐富資料，以及可以用便宜的價格買到能處理這些資料的硬體。

時機成熟的二十一世紀
現代AI的濫觴是「Cat Paper」，於2012年發表。為什麼是2012年呢？當然，Google公司的天才技術者在這年寫出相關演算法是原因之一。不過更重要的是「現代」這個時代背景。
如同我們前面提到的，要實現深度學習需要大量資料，以及能夠處理這些資料的強大計算能力。只有在現代科技的幫助下，才能同時達到這兩個條件。
我們可以從網路上輕易獲得大量資料。事實上，「Cat Paper」就是從YouTube上擷取了許多貓咪圖像，用來教AI「貓是什麼」。
另外，因應遊戲而開發出來的高速計算能力，也讓深度學習需要的龐大計算量成為可能。
GPU（Graphics Processing Unit）可以說是遊戲用電腦的必備品。GPU常翻譯做圖形處理器，是遊戲中處理圖形高速運動時不可或缺的裝置。而這個GPU也讓電腦能夠進行單純而龐大的AI計算。
「龐大的資料與強大的計算能力」，要是沒有這兩個條件，或許就不會出現「Cat Paper」了。

二十世紀的AI與二十一世紀的AI
AI需由電腦實現。如同我們前面提到的，二十世紀的AI基本上是由人類教導電腦該怎麼做。譬如當我們希望能用電腦識別某種物體時，會先寫出該物體的特徵，整理之後再輸入電腦。前面提到的第二世代AI的典型例子「專家系統」就是如此，如果使用者不是專家的話，就無法教導AI物體有哪些「特徵」。
不過，對象物體必須相對單純，專家才能夠「整理出物體的特徵」。要是對象是貓的話就不行了。即使有人寫出「貓的特徵」，整理後想輸入至電腦，也很難在電腦中表現出這些特徵。因為每一隻貓都各有不同，要判斷「該列入那些共通點做為貓的特徵」並不是件容易的事。
二十一世紀的AI則不需要由人鉅細靡遺的教導電腦，其基本概念是讓電腦「自己從資料中學習」。也就是說，二十世紀AI與二十一世紀AI的主要差異如下所示。
「二十世紀AI需由人教導電腦，二十一世紀AI則是讓電腦自行學習。」
第2章開始，我們會繼續說明「自己從資料中學習」是什麼意思。

1開啟AI時代的深度學習
～現在的AI熱潮要從2012年的「Cat Paper」開始說起～

報紙或電視節目幾乎每天都會提到與AI有關的話題，而深度學習正是引起這波AI熱潮的關鍵，使社會出現了很大的改變。

AI熱潮
AI是英語Artificial Intelligence的首字母簡稱，譯為人工智慧。
我們幾乎每天都可以在報紙或電視新聞上看到與AI有關的報導。
「AI自動駕駛即將實現。」
「AI在癌細胞的影像判讀上有很大的幫助。」
類似的例子不勝枚舉。

AI為什麼會在現在引起熱潮呢？在二十一世紀初期，有誰會想到有這樣的熱潮呢？
一切要從發表於2012年的「...

在報紙或電視節目上，幾乎每天都會提到與AI（人工智慧）、AI機器人有關的話題。
「AI贏了職業棋士。」
「AI從電腦斷層圖像判斷癌細胞的能力比經驗豐富的醫師還要厲害。」
「機器人聽得懂人話，會指引路線。」
「AI自動駕駛將在汽車業界引起革命。」

想必各位應該也聽過其中幾個類似的報導吧。甚至還有更極端的報導會提到「AI將搶走我們的工作」之類的問題，或者預測「到了2045年，人工智慧將超過人類的智慧」之類「科技奇點」的發生。將本來是科幻電影才會出現的情節，說得像是會在現實中發生一樣。

在這樣的時代，了解AI的運作機制成為相當重要的課題。不知道AI的運作機制卻讓AI幫我們診斷疾病、搭乘自動駕駛的汽車，或是和不知道在想些什麼的機器人一起工作，各位應該也會覺得有些不舒服吧。另外，「AI將造成大量失業」這樣的恐嚇，也會使我們對AI產生不必要的恐懼。

「深度學習」帶起了現代AI的熱潮，而本書則是解說其運作機制的入門書。書中搭配了許多解說用的圖表，只要有高中程度的數學知識就可以充分理解AI的思考方式，讓各位讀者在閱讀本書時，實際體會到「原來AI是這樣思考、這樣做出判斷的！」。

如果不去提數學上的細節，其實深度學習的原理並不困難。如果本書能夠幫助各位了解深度學習的概念，那就太棒了。

最後，本書得以完成，要感謝從本書的企劃到付梓過程中給予指導的Beret出版坂東一郎先生，以及編集工房Shirakusa的畑中隆先生，在此致上謝意。

2019年初秋　作者

在報紙或電視節目上，幾乎每天都會提到與AI（人工智慧）、AI機器人有關的話題。
「AI贏了職業棋士。」
「AI從電腦斷層圖像判斷癌細胞的能力比經驗豐富的醫師還要厲害。」
「機器人聽得懂人話，會指引路線。」
「AI自動駕駛將在汽車業界引起革命。」

想必各位應該也聽過其中幾個類似的報導吧。甚至還有更極端的報導會提到「AI將搶走我們的工作」之類的問題，或者預測「到了2045年，人工智慧將超過人類的智慧」之類「科技奇點」的發生。將本來是科幻電影才會出現的情節，說得像是會在現實中發生一樣。

在這樣的時代，了解AI的運作...

第1章 活躍中的深度學習
開啟AI時代的深度學習
深度學習與AI
機器學習與深度學習
深度學習的本質與特徵抽出
監督學習與非監督學習
圖像解析與深度學習
語音識別與深度學習
與Big Data十分契合的深度學習
撐起第四次工業革命的深度學習

第2章 用圖說明深度學習的機制
從神經元開始談起
用神經元機器人來說明
將神經元機器人排成一層層
神經網路產生智慧的機制
神經網路的「學習」是什麼意思
用圖說明什麼是卷積神經網路
用圖說明什麼是遞迴神經網路

第3章 說明深度學習之前的準備
Sigmoid函數
資料分析時的模型與參數
理論與實際的誤差

第4章 了解什麼是神經網路
以數學式表示神經元的運作方式
單元與活化函數
Sigmoid神經元
神經網路的實例
神經網路各層的運作方式與變數符號
神經網路的目標函數
神經網路的「學習」
對神經網路「學習」結果的解釋

第5章 了解卷積神經網路的機制
卷積神經網路的準備
卷積神經網路的輸入層
卷積神經網路的卷積層


卷積神經網路的池化層
卷積神經網路的輸出層
卷積神經網路的目標函數
卷積神經網路的「學習」
對卷積神經網路「學習」結果的解釋
測試卷積神經網路

第6章 了解遞迴神經網路的機制
遞迴神經網路的概念
遞迴神經網路的展開圖
遞迴神經網路中各層的運作機制
用數學式表示遞迴神經網路
遞迴神經網路的目標函數
遞迴神經網路的「學習」

第7章 了解誤差反向傳播法的機制
誤差反向傳播法是最佳化計算的基礎
誤差反向轉播法（Backpropagation法）的機制
用Excel體驗誤差反向傳播法
用Python體驗誤差反向傳播法

附錄
本書使用的訓練資料（Ⅰ）
本書使用的訓練資料（Ⅱ）
VBA的使用方式
新增規劃求解功能
在Windows 10使用命令提示字元的方法
Python安裝方法
微分的基礎知識
多變數函數的近似公式與梯度
卷積在數學上的意義
單元的誤差與梯度的關係
單元的誤差與各層間的關係

索引

第1章 活躍中的深度學習
開啟AI時代的深度學習
深度學習與AI
機器學習與深度學習
深度學習的本質與特徵抽出
監督學習與非監督學習
圖像解析與深度學習
語音識別與深度學習
與Big Data十分契合的深度學習
撐起第四次工業革命的深度學習

第2章 用圖說明深度學習的機制
從神經元開始談起
用神經元機器人來說明
將神經元機器人排成一層層
神經網路產生智慧的機制
神經網路的「學習」是什麼意思
用圖說明什麼是卷積神經網路
用圖說明什麼是遞迴神經網路

第3章 說明深度學習之前的準備
Sigmoid函數
資料分析時的模型與參...