焦加麟

前言

筆者在年少時就很喜歡機器人，從求學階段就開始專注於電腦科學，期待有朝一日可以從事機器人的研發工作。2007 年，微軟公司創始人比爾•蓋茲在《每個家庭都有一個機器人》（A Robot In Every Home）一文中預言：在不久的將來，每個家庭除了擁有電腦之外還會擁有一個機器人。這篇文章對筆者的啟發很大，堅定了筆者從事機器人研發的決心。在美國攻讀博士期間，筆者一直在機器人系統領域學習、研究；2009 年夏，筆者在微軟研究院（MSR Redmond）FPGA 組實習期間的研究專案就是為機器人打造感知晶片。2014 年，筆者有幸進入百度美國研究院，親身經歷了百度的無人駕駛事業從無到有、從單點技術到系統整合的整個過程，並在此過程中結識了一群頂尖的科技人才。在共事的過程中，大家互相學習，與無人駕駛產業共同成長。現在，筆者的大部分老同事已經在中國無人駕駛產業中各領風騷。

無人駕駛的場景特別複雜，技術挑戰特別大，它因此被稱為AI 技術的聖杯。但是，筆者更願意將無人駕駛歸屬於移動機器人的子類別，而AI 技術只是無人駕駛許多技術點中的一部分。正如本書詳細介紹的那樣，無人駕駛是一個系統工程，需要把許多的單點技術進行有效的整合。是否可開發出一款好的無人駕駛產品取決於一個團隊的全端式工程能力與系統型整合能力，因此對整個無人駕駛架構的更加了解非常重要。

寫作本書的初衷

雖然無人駕駛一直處於資本追逐的風口，但是整個無人駕駛產業的商業鏈並不完備，尤其受限於人才儲備不足。在日常的接觸中，筆者發現許多工程師，甚至產業從業者對無人駕駛的了解存在許多偏差。舉例來說，有人會覺得了解了某個深度學習演算法就能利用它實現無人駕駛，或只要有一個光達就可以建置無人駕駛系統。筆者希望本書能夠成為對無人駕駛有興趣的讀者的基礎入門書，能夠透過解析無人駕駛架構幫助大家了解無人駕駛及每個技術點的實際作用。

本書的讀者可以在掌握了整個無人駕駛技術架構後，再去深入採擷一、二個自己有興趣的技術方向，由淺入深、由表及裡地組織相關技術內容。

只有這樣，整個產業在每個單點技術的人才儲備才會逐漸建立起來，無人駕駛才會有發展和繁榮的希望。

筆者一直認為，移動機器人，包含無人駕駛，主要集中在三個技術方向：感知、定位和決策。感知是無人車對目前環境的了解，從擷取到的感測器原始資料中分析有意義的資訊；定位是無人車對本身目前位置的了解，用來精確地控制無人車的行駛方向；而決策是無人車的大腦，根據感知與定位資訊決定下一步的動作，為車輛的出行與到達提供安全可靠的規劃。為了實現這三個技術模組的高效執行，我們需要一個適用於無人駕駛的邊緣運算系統，這個系統由作業系統和硬體系統組成，將配合演算法部分滿足無人駕駛即時、可靠、安全、節能的要求。除了車載行動服務，我們還需要無人駕駛雲端平台提供離線的計算和儲存功能以支援高精地圖產生及大規模的深度學習模型訓練等服務。

本書章節介紹

為了函蓋上述無人駕駛系統的內容，本書內容組織如下：

第1 章將簡單介紹無人駕駛系統架構。

第2 章到第7 章，將介紹無人駕駛中的感知定位技術模組。

第8 章到第10 章，將介紹無人駕駛中的決策與控制技術模組。

第11 章到第15 章，將介紹無人駕駛邊緣運算系統的技術點。

最後，第16 章到第20 章，將介紹無人駕駛雲端平台的技術點。

每一章的最後一節都詳細地列出了參考資料，以便讀者對某個有興趣的技術點進行深入探討。

劉少山，PerceptIn 創始人兼CEO

前言

筆者在年少時就很喜歡機器人，從求學階段就開始專注於電腦科學，期待有朝一日可以從事機器人的研發工作。2007 年，微軟公司創始人比爾•蓋茲在《每個家庭都有一個機器人》（A Robot In Every Home）一文中預言：在不久的將來，每個家庭除了擁有電腦之外還會擁有一個機器人。這篇文章對筆者的啟發很大，堅定了筆者從事機器人研發的決心。在美國攻讀博士期間，筆者一直在機器人系統領域學習、研究；2009 年夏，筆者在微軟研究院（MSR Redmond）FPGA 組實習期間的研究專案就是為機器人打造感知晶片。2014 年，筆者有幸進入百度美國研究...

前言

01 無人車：正在開始的未來
1.1 正在走來的無人駕駛
1.2 無人駕駛的分級
1.3 無人駕駛系統簡介
1.4 序幕剛啟
1.5 參考資料

02 光達在無人駕駛中的應用
2.1 無人駕駛技術簡介
2.2 光達基礎知識
2.3 應用領域
2.4 光達技術面臨的挑戰
2.5 展望未來
2.6 參考資料

03 影像級高畫質光達
3.1 無人駕駛應用的各種光達的點雲特性
3.2 高畫質光達在建置可靠感知系統時的優勢
3.3 高畫質光達對定位和運動探測模組的價值
3.4 高畫質光達使得點雲和圖像資料的融合更高效
3.5 光達未來的發展趨勢
3.6 參考資料

04 GPS 及IMU 在無人駕駛中的應用
4.1 無人駕駛定位技術
4.2 GPS 簡介
4.3 IMU 簡介
4.4 GPS 和IMU 的融合
4.5 小結
4.6 參考資料

05 基於電腦視覺的無人駕駛感知系統
5.1 無人駕駛的感知
5.2 KITTI 資料集
5.3 電腦視覺能幫助無人車解決的問題
5.4 光流和立體視覺
5.5 物體的識別與追蹤
5.6 視覺里程計算法
5.7 小結
5.8 參考資料

06 卷積神經網路在無人駕駛中的應用
6.1 CNN 簡介
6.2 無人駕駛二元3D 感知
6.3 無人駕駛物體檢測
6.4 小結
6.5 參考資料

07 強化學習在無人駕駛中的應用
7.1 強化學習簡介
7.2 強化學習演算法
7.3 使用強化學習幫助決策 ....... 7-9
7.4 無人駕駛的決策介紹
7.5 參考資料

08 無人駕駛的行為預測
8.1 無人駕駛軟體系統模組整體架構
8.2 預測模組需要解決的問題
8.3 小結
8.4 參考資料

09 無人駕駛的決策、規劃和控制（1）
9.1 決策、規劃和控制模組概述
9.2 路由尋徑
9.3 行為決策
9.4 動作規劃
9.5 回饋控制
9.6 小結
9.7 參考資料

10 無人駕駛的決策、規劃和控制（2）
10.1 其他動作規劃演算法
10.2 光柵規劃器
10.3 自由空間TEB 規劃器
10.4 小結
10.5 參考資料

11 基於ROS 的無人駕駛系統
11.1 無人駕駛：多種技術的整合
11.2 ROS 簡介
11.3 系統可用性
11.4 系統通訊效能提升
11.5 系統資源管理與安全性
11.6 小結
11.7 參考資料

12 無人駕駛的硬體平台
12.1 無人駕駛：複雜系統
12.2 感測器平台
12.3 計算平台
12.4 控制平台
12.5 小結
12.6 參考資料

13 無人駕駛系統安全
13.1 針對無人駕駛的安全威脅
13.2 無人駕駛感測器的安全
13.3 無人駕駛作業系統的安全
13.4 無人駕駛控制系統的安全
13.5 車聯網通訊系統的安全
13.6 安全模型驗證方法
13.7 小結
13.8 參考資料

14 對抗樣本攻擊與防禦在無人駕駛中的應用
14.1 對抗樣本攻擊演算法
14.2 對抗樣本防禦演算法
14.3 實驗平台安裝及環境設定
14.4 AdvBox 攻擊與防禦實驗
14.5 防禦建議
14.6 小結
14.7 參考資料

15 無人駕駛資料服務通訊協定
15.1 資料服務通訊協定發展歷史
15.2 DSRC
15.3 C-V2X
15.4 3GPP 中V2X 無線連線標準研究
15.5 參考資料

16 無人駕駛模擬器技術
16.1 為什麼需要模擬器
16.2 模擬器的用途
16.3 模擬器系統的需求
16.4 模擬器系統的模組成
16.5 模擬器的使用場景及常見模擬器
16.6 模擬器的研發階段
16.7 模擬器模擬的一致性問題
16.8 小結
16.9 參考資料

17 基於Spark 與ROS的分散式無人駕駛模擬平台
17.1 無人駕駛模擬技術
17.2 基於ROS 的無人駕駛模擬器
17.3 基於Spark 的分散式模擬平台
17.4 小結
17.5 參考資料

18 無人駕駛中的高精地圖
18.1 傳統電子導航地圖
18.2 服務於無人駕駛場景的高精地圖
18.3 高精地圖的組成和特點
18.4 建置高精地圖
18.5 高精地圖在無人駕駛中的應用
18.6 高精地圖的現狀與結論
18.7 參考資料

19 高精地圖的自動化生產
19.1 高精地圖生產的挑戰
19.2 無人車用高精地圖
19.3 高精地圖生產的基本流程
19.4 機器學習在高精地圖生產中的應用
19.5 基於3D 點雲的深度學習
19.6 小結
19.7 參考資料

20 針對無人駕駛的邊緣高精地圖服務
20.1 邊緣運算與高精地圖
20.2 邊緣場景下的高精地圖服務
20.3 邊緣高精地圖生產
20.4 邊緣高精地圖內容分發
20.5 參考架構
20.6 相關工作
20.7 小結
20.8 參考資料

前言

01 無人車：正在開始的未來
1.1 正在走來的無人駕駛
1.2 無人駕駛的分級
1.3 無人駕駛系統簡介
1.4 序幕剛啟
1.5 參考資料

02 光達在無人駕駛中的應用
2.1 無人駕駛技術簡介
2.2 光達基礎知識
2.3 應用領域
2.4 光達技術面臨的挑戰
2.5 展望未來
2.6 參考資料

03 影像級高畫質光達
3.1 無人駕駛應用的各種光達的點雲特性
3.2 高畫質光達在建置可靠感知系統時的優勢
3.3 高畫質光達對定位和運動探測模組的價值
3.4 高畫質光達使得點雲和圖像資料的融合更高效
3.5 光達未來的發展趨勢
3.6 參考資料
...