深度學習：邁向

前言
機器會思考嗎？
這樣一個簡單的問題，可以引起無窮無盡的討論，而且沒有答案。什麼叫思考呢？機器會答題算不算思考？能夠答題且正確率超過人類算不算思考？能夠下棋打敗人類算不算思考？能夠自己學習進步算不算思考？能夠騙過人算不算思考？能夠發明新東西算不算思考？思考要帶有情緒嗎？做出錯誤的決定，算思考嗎？等一下，如果人做了錯誤的決定，那麼他思考了嗎？如果機器和人做了同樣錯誤的決定，他們都算思考後的決定嗎？

當我們在這些問題裡面越陷越深，越來越找不到答案的時候，也許你終於意識到人的大腦實在是太強大了。人的大腦多個層次之間，直覺、感性、理性同時發揮作用又有機結合。人的大腦的學習能力不是規則可以確定的，不是程式所能撰寫的，也不是訓練可以達到的。常常，連我們自己對自己的思考過程都不是特別了解。

這時候你可能就有另一個想法：也許我們還沒有辦法完全了解自己的大腦和思考的過程，但是我們能不能建置一些機器，讓它們來模擬人的大腦的思考和處理事情的過程呢？如果我們真的能建置成這樣的機器，這個機器又能夠像大腦一樣工作，那麼即使我們不完全了解這些機器，它們也可能像人的大腦一樣思考嗎？

這就是深度學習後面的基礎技術—神經網路的最初想法。如果我們想像人的大腦是一些神經元搭起來的，然後相互之間通訊，最後得出一個思考和判斷的結果，我們能不能也用機器模擬這些神經元，讓它們互相通訊，最後經過訓練做出和人一樣的好的思考和判斷呢？

讀者知道，機器學習（Machine Learning）是人工智慧（Artificial Intelligence，AI）的子領域，而深度學習（Deep Learning）是機器學習的子領域，它基於類神經網路（Artificial Neural Networks），靈感來自對人的大腦結構和功能的研究。雖然類神經網路在二十世紀四五十年代就被發明了，但是因為計算複雜度的限制和一些理論或演算法的不足，導致它只是在學術界被當作機器學習的方法之一來研究。近年，隨著運算能力的加強，深度學習到達了可以被實際應用的標準線，它的威力被釋放出來，在這次人工智慧的浪潮中產生了推波助瀾的作用。

深度學習具有傳統機器學習和傳統電腦程式沒有的優點，這個優點就是，它能夠處理人們並不完全懂得的問題，而且更擅長處理含雜訊或不完全的資料。不能精確定義、有雜訊和資料不完全，實際生活中的場景經常是這樣的。所以說，深度學習更加接近生活。類神經網路的模式比對和學習能力使它能夠解決許多難以或不可能透過標準計算和統計方法解決的問題。

2018 年夏天，我們15 個為Hulu 公司工作的「葫蘆娃」做了一個嘗試，出版了一本關於機器學習的書，叫《百面機器學習：演算法工程師帶你去面試》。這本書獲得了意想不到的成功，讀者回饋該書非常實用，是機器學習領域非常好的原創入門書。讓我們感到欣慰的是，許多學生留言說他們讀了這本書，從中學到了不少機器學習的基本資訊，讀者把它看作一本特別好的機器學習入門書。而我們最喜歡的回饋是，這是一本真正做機器學習工作的人寫的、對讀者很有實際幫助的書。
部分讀者評論如下。

1. 基礎知識說明得很到位，而且很多是從實際問題出發，很接地氣，實作者深度了解基礎知識的利器。
2. 技術面必備參考書，問題涉及面廣，細節檢查合格，難度把握得當，非常滿意，五星好評。
3. 完全超出了預想，內容寫得比想像的好多了，一看作者就是有多年機器學習相關工作的「老油條」了，並且有別於市面上千篇一律的經典書籍的注重公式推導和概念說明，這本書有些是實作應用多年才會有的思考，裡面的很多問題也很有意思，第一次發現原來可以透過這個角度重新思考。總之是很棒的一本書，正在閱讀中，期待有更多的收穫！
⋯⋯

在《百面機器學習：演算法工程師帶你去面試》的成功鼓勵下，在讀者和人民郵電出版社編輯的支持下，我們更加有了信心，今年再接再厲出版《百面深度學習：演算法工程師帶你去面試》。我們閱讀了讀者的回饋，希望能夠保持上一本書的優點，比如說它同樣也是很實際的，都是在實際工作中會遇到的問題；比如說它不是面面俱到，但是能夠給讀者帶來比較好的思考和幫助。同時，我們也對可能的方面做了一些改進。

在組織一群人寫書方面，我們也有了較多的經驗。同時，我們獲得了非常多的幫助，這次參加寫作者有近30 人。本書的結構一開始就設計得比較好，利用Git 等協作工具，我們能夠像做專案一樣進行多人合作，同步寫作，交換審核，這使我們能夠在比較合適的時間完成這本書，並且確保品質。

因為深度學習這個方向相比較嶄新，新的技術還在不斷出現，所以我們的一些問題和答案也需要讀比較多的新資料，而非很現成的。在寫書的這幾個月中，我們也不斷地更新內容以跟上學術界的新發展。我們希望這本書給讀者啟發，一起探討，而不完全是灌輸給讀者知識。市面上除了幾部經典的教科書類的作品，關於深度學習的實作類圖書並不多，我們希望能夠補全這個空缺。

人工智慧和深度學習演算法還在日新月異地發展中，這本書也會不斷更新，推出新版本。希望獲得讀者朋友們的悉心指正，讓我們一起跟上這個技術領域的進步步伐。

諸葛越，江雲勝

前言
機器會思考嗎？
這樣一個簡單的問題，可以引起無窮無盡的討論，而且沒有答案。什麼叫思考呢？機器會答題算不算思考？能夠答題且正確率超過人類算不算思考？能夠下棋打敗人類算不算思考？能夠自己學習進步算不算思考？能夠騙過人算不算思考？能夠發明新東西算不算思考？思考要帶有情緒嗎？做出錯誤的決定，算思考嗎？等一下，如果人做了錯誤的決定，那麼他思考了嗎？如果機器和人做了同樣錯誤的決定，他們都算思考後的決定嗎？

當我們在這些問題裡面越陷越深，越來越找不到答案的時候，也許你終於意識到人的大腦實在是太強大了。...

前言
第一部分 演算法和模型
第1 章　卷積神經網路
01　　　卷積基礎知識
02　　　卷積的變種
03　　　卷積神經網路的整體結構
04　　　卷積神經網路的基礎模組
參考文獻
第2 章　循環神經網路
01　　　循環神經網路與序列建模
02　　　循環神經網路中的Dropout
03　　　循環神經網路中的長期依賴問題
04　　　長短期記憶網路
05　　　Seq2Seq 架構
參考文獻
第3 章　圖神經網路
01　　　圖神經網路的基本結構
02　　　圖神經網路在推薦系統中的應用
03　　　圖神經網路的推理能力
參考文獻
第4 章　生成模型
01　　　深度信念網路與深度波茲曼機
02　　　變分自編碼器基礎知識
03　　　變分自編碼器的改進
04　　　生成式矩比對網路與深度自回歸網路
參考文獻
第5 章　生成式對抗網路
01　　　生成式對抗網路的基本原理
02　　　生成式對抗網路的改進
03　　　生成式對抗網路的效果評估
04　　　生成式對抗網路的應用
參考文獻
第6 章　強化學習
01　　　強化學習基礎知識
02　　　強化學習算法
03　　　深度強化學習
04　　　強化學習的應用
參考文獻
第7 章　元學習
01　　　元學習的主要概念
02　　　元學習的主要方法
03　　　元學習的資料集準備
04　　　元學習的兩個簡單模型
05　　　基於度量學習的元學習模型
06　　　基於神經圖靈機的元學習模型
07　　　基於學習最佳化器的元學習模型
08　　　基於學習初始點的元學習模型
參考文獻
第8 章　自動化機器學習
01　　　自動化機器學習的基本概念
02　　　模型和超參數自動化最佳化
03　　　神經網路架構搜尋
參考文獻

第二部分 應用
第9 章　電腦視覺
01　　　物體辨識
02　　　影像分割
03　　　光學字元辨識
04　　　影像標記
05　　　人體姿態辨識
參考文獻
第10 章　自然語言處理
01　　　語言的特徵表示
02　　　機器翻譯
03　　　問答系統
04　　　對話系統
參考文獻
第11 章　推薦系統
01　　　推薦系統基礎
02　　　推薦系統設計與演算法
03　　　推薦系統評估
參考文獻
第12 章　計算廣告
01　　　點擊率預估
02　　　廣告召回
03　　　廣告投放策略
參考文獻
第13 章　視訊處理
01　　　視訊編解碼
02　　　視訊監控
03　　　影像品質評價部分
04　　　超解析度重建
05　　　網路通訊
參考文獻
第14 章　電腦聽覺
01　　　音訊訊號的特徵分析
02　　　語音辨識
03　　　音訊事件辨識
參考文獻
第15 章　自動駕駛
01　　　自動駕駛的基本概念
02　　　點對點的自動駕駛模型
03　　　自動駕駛的決策系統
參考文獻
附錄A 反向傳播法
A-1 合成函數微分鏈鎖法的複習
A-2 將合成函數微分擴展到偏微分
A-3 將鏈鎖法應用到更多層的合成函數
A-4 反向傳播的實例
A-5 套入非線性函數的反向傳播的實例
作者隨筆

前言
第一部分 演算法和模型
第1 章　卷積神經網路
01　　　卷積基礎知識
02　　　卷積的變種
03　　　卷積神經網路的整體結構
04　　　卷積神經網路的基礎模組
參考文獻
第2 章　循環神經網路
01　　　循環神經網路與序列建模
02　　　循環神經網路中的Dropout
03　　　循環神經網路中的長期依賴問題
04　　　長短期記憶網路
05　　　Seq2Seq 架構
參考文獻
第3 章　圖神經網路
01　　　圖神經網路的基本結構
02　　　圖神經網路在推薦系統中的應用
03　　　圖神經網路的推理能力
參考文獻
第4 章　生成模型
01　　...