人工智能硬件加速器設計

第1章 人工智慧技術簡介 1
1．1 發展簡史 2
1．2 神經網路模型 3
1．3 神經網路分類 4
1．3．1 監督學習 4
1．3．2 半監督學習 5
1．3．3 無監督學習 5
1．4 神經網路框架 5
1．5 神經網路的比較 7
思考題 9
原著參考文獻 9

第2章 深度學習加速器的設計 11
2．1 神經網路的網路層 13
2．1．1 卷積層 13
2．1．2 啟動層 14
2．1．3 池化層 15
2．1．4 批量歸一化層 16
2．1．5 丟棄層 17
2．1．6 全連接層 17
2．2 設計深度學習加速器所面臨的挑戰 18
思考題 19
原著參考文獻 20

第3章 人工智慧硬體加速器的並行結構 21
3．1 英特爾中央處理器（CPU） 21
3．1．1 天湖網狀架構 22
3．1．2 英特爾超路徑互連（UPI） 24
3．1．3 子非統一記憶體訪問集群（SNC） 25
3．1．4 緩存架構的調整 26
3．1．5 單/多插槽並行處理 27
3．1．6 高級向量軟體擴展 27
3．1．7 深度神經網路的數學內核庫（MKL-DNN） 29
3．2 英偉達圖形處理器（GPU） 33
3．2．1 張量計算核心架構 36
3．2．2 維諾格拉德變換 38
3．2．3 同步多執行緒（SMT） 40
3．2．4 第二代高頻寬記憶體（HBM2） 40
3．2．5 NVLink2配置 41
3．3 英偉達深度學習加速器（NVDLA） 43
3．3．1 卷積運算 43
3．3．2 單點數據運算 44
3．3．3 平面數據運算 44
3．3．4 多平面運算 44
3．3．5 數據存儲和重塑操作 44
3．3．6 系統組態 45
3．3．7 外部介面 45
3．3．8 軟體設計 46
3．4 谷歌張量處理器（TPU） 46
3．4．1 系統架構 47
3．4．2 乘法-累加（MAC）脈衝陣列 49
3．4．3 新的大腦浮點格式 50
3．4．4 性能比較 51
3．4．5 雲TPU配置 51
3．4．6 雲軟體架構 53
3．5 微軟彈射器結構加速器（NPU） 54
3．5．1 系統組態 57
3．5．2 彈射器架構 57
3．5．3 矩陣-向量乘法器 58
3．5．4 分層解碼與調度（硬碟） 60
3．5．5 疏鬆陣列-向量乘法 61
思考題 63
原著參考文獻 64

第4章 基於流圖理論的加速器設計 66
4．1 Blaize流圖處理器 66
4．1．1 流圖模型 66
4．1．2 深度優先調度方法 68
4．1．3 流圖處理器架構 69
4．2 Graphcore智慧處理器 72
4．2．1 智慧處理器（IPU）架構 72
4．2．2 累加矩陣積（AMP）單元 72
4．2．3 記憶體架構 74
4．2．4 互連架構 74
4．2．5 批量同步並行模型 75
思考題 76
原著參考文獻 76

第5章 加速器的卷積計算優化 78
5．1 深度學習加速器―以DCNN加速器為例 78
5．1．1 系統架構 78
5．1．2 濾波器分解 80
5．1．3 流處理架構 83
5．1．4 池化 85
5．1．5 卷積單元（CU）引擎 86
5．1．6 累加（ACCU）緩衝區 87
5．1．7 模型壓縮 87
5．1．8 系統性能 88
5．2 Eyeriss加速器 89
5．2．1 Eyeriss系統架構 89
5．2．2 二維卷積運算到一維乘法運算的轉換 90
5．2．3 數據流固定（SD） 92
5．2．4 行固定（RS）數據流 95
5．2．5 游程長度壓縮（RLC）算法 98
5．2．6 全域緩衝區（GLB） 99
5．2．7 Eyeriss PE架構 99
5．2．8 片上網路（NoC） 100
5．2．9 Eyeriss v2系統架構 104
5．2．10 分層網狀網 106
5．2．11 壓縮稀疏列格式 111
5．2．12 行固定加（RS+）數據流 112
5．2．13 系統性能 112
思考題 114
原著參考文獻 114

第6章 存內計算 116
6．1 Neurocube加速器 116
6．1．1 混合記憶體立方體（HMC） 116
6．1．2 以記憶體為中心的神經計算 118
6．1．3 可編程神經定序器 119
6．1．4 系統性能 121
6．2 Tetris加速器 121
6．2．1 記憶體層次結構 121
6．2．2 存內累加 122
6．2．3 數據調度 123
6．2．4 神經網路的vault分區 124
6．2．5 系統性能 125
6．3 NeuroStream加速器 126
6．3．1 系統架構 126
6．3．2 NeuroStream輔助處理器 127
6．3．3 四維分塊的機制 128
6．3．4 系統性能 130
思考題 131
原著參考文獻 131

第7章 近記憶體體系架構 132
7．1 DaDianNao超級電腦 132
7．1．1 記憶體配置 132
7．1．2 神經功能單元 133
7．1．3 系統性能 135
7．2 Cnvlutin加速器 137
7．2．1 基本磁碟區積運算 137
7．2．2 系統架構 139
7．2．3 處理順序 140
7．2．4 無零神經元陣列格式（ZFNAf） 143
7．2．5 調度器 143
7．2．6 動態修剪 144
7．2．7 系統性能 144
7．2．8 原生或編碼（RoE）格式 145
7．2．9 向量無效啟動識別字（VIAI）格式 145
7．2．10 跳過無效啟動 146
7．2．11 跳過無效權重 146
思考題 148
原著參考文獻 148

第8章 加速器的網路稀疏性 149
8．1 能效推理引擎（EIE）加速器 149
8．1．1 前導非零檢測（LNZD）網路 149
8．1．2 中央控制單元（CCU） 150
8．1．3 處理元件（PE） 150
8．1．4 深度壓縮 150
8．1．5 疏鬆陣列計算 153
8．1．6 系統性能 154
8．2 寒武紀X加速器 154
8．2．1 計算單元 156
8．2．2 緩衝區控制器 157
8．2．3 系統性能 159
8．3 稀疏卷積神經網路（SCNN）加速器 160
8．3．1 SCNN加速器的PT-IS-CP-密集數據流 160
8．3．2 SCNN加速器的PT-IS-CP-稀疏數據流 162
8．3．3 SCNN加速器的分塊架構 162
8．3．4 SCNN加速器的PE架構 163
8．3．5 SCNN加速器的數據壓縮 164
8．3．6 SCNN加速器的系統性能 164
8．4 SeerNet加速器 166
8．4．1 低位量化 167
8．4．2 有效量化 167
8．4．3 量化卷積 168
8．4．4 推理加速器 170
8．4．5 稀疏性遮罩編碼 170
8．4．6 系統性能 170
思考題 171
原著參考文獻 171

第9章 加速器晶片的三維堆疊工藝 173
9．1 三維積體電路架構 173
9．2 配電網路 174
9．3 三維橋接器工藝 176
9．3．1 三維片上網路 177
9．3．2 多通道高速鏈路 178
9．4 低功耗技術 178
9．4．1 電源選通 178
9．4．2 時鐘選通 180
思考題 180
原著參考文獻 181

附錄A 神經網路拓撲 182
附錄B 中英文詞彙表 183