博客來
本書系統地介紹了即時音視頻系統的基礎概念、工具、編程方法。
全書分為10章，第1章介紹信息與文字編碼的基礎知識，以及跨平臺網路編程的基本方法。第2、3章介紹視頻的採集與渲染技術。第4、5章介紹音訊的採集與渲染技術。第6章介紹編解碼相關的壓縮技術。第7章介紹信令與媒體流的建連過程。第8章介紹網路傳輸過程中的優化技術。第9章介紹即時音視頻的應用與可擴展架構。第10章介紹音視頻系統核心指標及其計算方法。每章既有對相關背景知識的介紹、對理論方法的說明，也有可實踐的具體編程方法，章節後還附有相關的參考資料和練習題，可方便讀者進一步學習與複習。
本書適合電腦、通信相關專業的在校大學生，以及希望全面瞭解即時音視頻系統的技術人員閱讀。
| FindBook |
有 1 項符合
RTC程序設計：實時音視頻權威指南的圖書 |
 |
RTC程序設計：實時音視頻權威指南 作者：戴維 出版社：電子工業出版社 出版日期：2024-03-01 語言：簡體中文 規格：平裝 / 366頁 / 16k/ 19 x 26 x 1.83 cm / 普通級/ 單色印刷 / 1-1 |
| 圖書館借閱 |
| 國家圖書館 | 全國圖書書目資訊網 | 國立公共資訊圖書館 | 電子書服務平台 | MetaCat 跨館整合查詢 |
| 臺北市立圖書館 | 新北市立圖書館 | 基隆市公共圖書館 | 桃園市立圖書館 | 新竹縣公共圖書館 |
| 苗栗縣立圖書館 | 臺中市立圖書館 | 彰化縣公共圖書館 | 南投縣文化局 | 雲林縣公共圖書館 |
| 嘉義縣圖書館 | 臺南市立圖書館 | 高雄市立圖書館 | 屏東縣公共圖書館 | 宜蘭縣公共圖書館 |
| 花蓮縣文化局 | 臺東縣文化處 |
|
|
圖書介紹 - 資料來源：博客來 評分：
圖書名稱：RTC程序設計：實時音視頻權威指南
內容簡介
作者介紹
戴維
上海交通大學計算機碩士，2009年畢業後在騰訊科技工作十餘年；2020年加入位元組跳動，參與即時音視頻團隊管理，同期任上海交通大學與復旦大學特聘企業講師；2023年加入月之暗面，任開發部技術研究員。擅長通信系統架構與跨平臺程式設計，技術功底扎實。愛好爬山、觀影和閱讀科技史。
上海交通大學計算機碩士，2009年畢業後在騰訊科技工作十餘年；2020年加入位元組跳動，參與即時音視頻團隊管理，同期任上海交通大學與復旦大學特聘企業講師；2023年加入月之暗面，任開發部技術研究員。擅長通信系統架構與跨平臺程式設計，技術功底扎實。愛好爬山、觀影和閱讀科技史。
目錄
第 1 章 資訊與傳輸 1
1.1 背景介紹 .......................... 1
1.1.1 電報與無線電 ........... 2
1.1.2 電腦與互聯網......... 5
1.1.3 主流平臺簡介 ........... 8
1.1.4 跨平臺開發 .............. 11
1.2 二進位世界 ....................... 17
1.2.1 一切皆比特 .............. 17
1.2.2 字節管理類 .............. 21
1.2.3 BufferViewer ............. 23
1.3 文本表示 .......................... 27
1.3.1 ASCII 到 GBK ........... 27
1.3.2 Unicode 與 UTF-8 ....... 31
1.3.3 TextViewer ............... 34
1.4 網路編程 .......................... 36
1.4.1 網路通訊協定 ................. 36
1.4.2 Socket 與執行緒模型 ...... 40
1.4.3 HelloRTC 伺服器........ 45
1.4.4 HelloRTC 用戶端........ 49
第 2 章 視頻幀與採集 57
2.1 圖元與圖像 ....................... 57
2.1.1 視覺物理 ................. 57
2.1.2 圖元與顏色空間......... 59
2.1.3 點陣圖與視頻幀 ........... 62
2.2 視頻採集設備 .................... 69
2.2.1 採集設備枚舉 ........... 69
2.2.2 圖像採集參數 ........... 74
2.2.3 設備的熱插拔通知 ...... 80
2.3 平臺採集介面 .................... 84
2.3.1 Windows 視頻採集 ...... 84
2.3.2 macOS/iOS 視頻採集 ... 88
2.3.3 Android 視頻採集 ....... 93
2.3.4 螢幕流與外部源......... 96
2.4 編碼前處理 ....................... 102
2.4.1 時間戳記與計時 ........... 102
2.4.2 旋轉角與朝向 ........... 106
2.4.3 視頻前處理 .............. 111
2.4.4 管理視頻幀 .............. 118
第 3 章 視頻渲染 123
3.1 視頻渲染基礎 .................... 123
3.1.1 渲染設備 ................. 123
3.1.2 渲染技術 ................. 127
3.1.3 渲染流水線 .............. 130
3.2 平臺渲染介面 .................... 134
3.2.1 Windows 渲染 ........... 134
3.2.2 macOS/iOS 渲染......... 135
3.2.3 Android 渲染............. 136
3.2.4 Linux 渲染 ............... 137
3.3 跨平臺渲染 ....................... 139
3.3.1 OpenGL 編程 ............ 139
3.3.2 著色器編程 .............. 141
3.4 數字圖像與視頻.................. 146
3.4.1 視頻格式簡介 ........... 147
3.4.2 AVI 檔案格式............ 148
第 4 章 音訊採集 151
4.1 聲音與音訊幀 .................... 151
4.1.1 聲音的物理屬性......... 151
4.1.2 數字化音訊 .............. 154
4.1.3 WAV 檔與播放........ 156
4.2 音訊採集設備 .................... 160
4.2.1 採集設備枚舉 ........... 160
4.2.2 音量與靜音 .............. 166
4.2.3 設備變更通知 ........... 171
4.2.4 音訊路由選擇 ........... 174
4.3 平臺採集介面 .................... 177
4.3.1 Windows 音訊數據
採集....................... 177
4.3.2 macOS/iOS 音訊數據
採集....................... 183
4.3.3 Android 音訊數據採集.. 185
4.4 音訊預處理 ....................... 187
4.4.1 回聲消除 AEC........... 187
4.4.2 自動增益控制 AGC ..... 192
4.4.3 主動雜訊抑制 ANS ..... 194
4.4.4 語音活動檢測 VAD ..... 196
第 5 章 音訊渲染 199
5.1 音訊渲染基礎 .................... 199
5.1.1 數字音訊簡介 ........... 199
5.1.2 音訊渲染設備 ........... 202
5.1.3 音畫同步 ................. 204
5.2 平臺渲染介面 .................... 206
5.2.1 Windows 音訊渲染 ...... 206
5.2.2 macOS 音訊渲染 ........ 211
5.2.3 iOS 音訊渲染 ............ 212
5.2.4 Android 音訊渲染 ....... 213
5.3 高級音訊渲染 .................... 215
5.3.1 混音與均衡 .............. 215
5.3.2 重採樣.................... 219
5.3.3 空間音訊 ................. 220
5.3.4 音效技術 ................. 221
第 6 章 編解碼壓縮技術 225
6.1 文本壓縮 .......................... 225
6.1.1 文本壓縮簡介 ........... 225
6.1.2 霍夫曼編碼 .............. 226
6.1.3 Deflate 編解碼 ........... 227
6.2 圖像壓縮 .......................... 230
6.2.1 圖像壓縮簡介 ........... 230
6.2.2 JPEG 檔案格式 .......... 230
6.2.3 JPEG 解碼................ 231
6.3 視頻編解碼 ....................... 233
6.3.1 視頻編解碼器 ........... 233
6.3.2 MP4 檔案格式 ........... 239
6.3.3 位元速率調整演算法......... 240
6.4 音訊編解碼 ....................... 242
6.4.1 音訊編解碼器 ........... 242
6.4.2 MP3 檔案格式 ........... 244
6.4.3 Opus 編解碼 ............. 245
第 7 章 信令與媒體協商 249
7.1 信令技術 .......................... 249
7.1.1 信令通道 ................. 250
7.1.2 WebRTC 基礎概念 ...... 253
7.1.3 RTC 信令設計 ........... 256
7.1.4 配置與連接點獲取 ...... 257
7.2 媒體描述 .......................... 259
7.2.1 SDP 格式................. 259
7.2.2 SDP Offer ................ 261
7.2.3 SDP Answer.............. 263
7.3 媒體建連 .......................... 264
7.3.1 STUN ..................... 264
7.3.2 TURN..................... 266
7.3.3 ICE........................ 267
7.3.4 DTLS ..................... 268
7.4 發佈訂閱 .......................... 272
7.4.1 RTP ....................... 272
7.4.2 RTCP ..................... 274
7.4.3 SCTP ..................... 275
第 8 章 傳輸控制優化 277
8.1 擁塞控制 .......................... 277
8.1.1 頻寬探測 ................. 277
8.1.2 GCC 演算法 ................ 278
8.1.3 BBR 演算法 ................ 278
8.2 弱網降級 .......................... 281
8.2.1 弱網識別 ................. 281
8.2.2 分級策略 ................. 282
8.2.3 性能降級 ................. 283
8.3 抖動緩存與平滑發送 ............ 284
8.3.1 NetEQ .................... 285
8.3.2 Pacer ...................... 286
8.4 錯誤恢復 .......................... 287
8.4.1 超時重傳 ................. 287
8.4.2 前向糾錯 ................. 288
第 9 章 可擴展架構 289
9.1 應用概覽 .......................... 289
9.1.1 即時通話 ................. 289
9.1.2 會議與教育 .............. 291
9.1.3 遊戲語音與虛擬實境 ... 292
9.2 流水線............................. 293
9.2.1 Node ...................... 293
9.2.2 典型流水線 .............. 295
9.3 服務端架構 ....................... 297
9.3.1 媒體伺服器 .............. 297
9.3.2 高可用網路 .............. 298
9.3.3 全球化部署 .............. 299
9.4 網路設備 .......................... 301
第 10 章 評價指標 305
10.1 總體指標 .......................... 305
10.1.1 成功類指標 .............. 305
10.1.2 延遲類指標 .............. 308
10.1.3 卡頓類指標 .............. 313
10.1.4 指標拆解與歸因......... 315
10.2 視頻品質評估 .................... 318
10.2.1 客觀評測 ................. 318
10.2.2 主觀評測 ................. 319
10.3 音訊品質評估 .................... 321
10.3.1 客觀評測 ................. 321
10.3.2 主觀評測 ................. 322
10.4 網路品質評估 .................... 323
10.4.1 弱網測試標準 ........... 323
10.4.2 弱網測試工具 ........... 324
10.5 性能與穩定性 .................... 325
10.5.1 性能指標 ................. 325
10.5.2 穩定性指標 .............. 327
附錄 A 習題答案 329
附錄 B COM 編程基礎 331
附錄 C 構建工具 CMake 333
附錄 D 調試技巧 339
附錄 E 編程環境 343
附錄 F JNI 基礎 345
附錄 G RTC 術語 355
附錄 H WTL 簡介 359
附錄 I 索引 361
1.1 背景介紹 .......................... 1
1.1.1 電報與無線電 ........... 2
1.1.2 電腦與互聯網......... 5
1.1.3 主流平臺簡介 ........... 8
1.1.4 跨平臺開發 .............. 11
1.2 二進位世界 ....................... 17
1.2.1 一切皆比特 .............. 17
1.2.2 字節管理類 .............. 21
1.2.3 BufferViewer ............. 23
1.3 文本表示 .......................... 27
1.3.1 ASCII 到 GBK ........... 27
1.3.2 Unicode 與 UTF-8 ....... 31
1.3.3 TextViewer ............... 34
1.4 網路編程 .......................... 36
1.4.1 網路通訊協定 ................. 36
1.4.2 Socket 與執行緒模型 ...... 40
1.4.3 HelloRTC 伺服器........ 45
1.4.4 HelloRTC 用戶端........ 49
第 2 章 視頻幀與採集 57
2.1 圖元與圖像 ....................... 57
2.1.1 視覺物理 ................. 57
2.1.2 圖元與顏色空間......... 59
2.1.3 點陣圖與視頻幀 ........... 62
2.2 視頻採集設備 .................... 69
2.2.1 採集設備枚舉 ........... 69
2.2.2 圖像採集參數 ........... 74
2.2.3 設備的熱插拔通知 ...... 80
2.3 平臺採集介面 .................... 84
2.3.1 Windows 視頻採集 ...... 84
2.3.2 macOS/iOS 視頻採集 ... 88
2.3.3 Android 視頻採集 ....... 93
2.3.4 螢幕流與外部源......... 96
2.4 編碼前處理 ....................... 102
2.4.1 時間戳記與計時 ........... 102
2.4.2 旋轉角與朝向 ........... 106
2.4.3 視頻前處理 .............. 111
2.4.4 管理視頻幀 .............. 118
第 3 章 視頻渲染 123
3.1 視頻渲染基礎 .................... 123
3.1.1 渲染設備 ................. 123
3.1.2 渲染技術 ................. 127
3.1.3 渲染流水線 .............. 130
3.2 平臺渲染介面 .................... 134
3.2.1 Windows 渲染 ........... 134
3.2.2 macOS/iOS 渲染......... 135
3.2.3 Android 渲染............. 136
3.2.4 Linux 渲染 ............... 137
3.3 跨平臺渲染 ....................... 139
3.3.1 OpenGL 編程 ............ 139
3.3.2 著色器編程 .............. 141
3.4 數字圖像與視頻.................. 146
3.4.1 視頻格式簡介 ........... 147
3.4.2 AVI 檔案格式............ 148
第 4 章 音訊採集 151
4.1 聲音與音訊幀 .................... 151
4.1.1 聲音的物理屬性......... 151
4.1.2 數字化音訊 .............. 154
4.1.3 WAV 檔與播放........ 156
4.2 音訊採集設備 .................... 160
4.2.1 採集設備枚舉 ........... 160
4.2.2 音量與靜音 .............. 166
4.2.3 設備變更通知 ........... 171
4.2.4 音訊路由選擇 ........... 174
4.3 平臺採集介面 .................... 177
4.3.1 Windows 音訊數據
採集....................... 177
4.3.2 macOS/iOS 音訊數據
採集....................... 183
4.3.3 Android 音訊數據採集.. 185
4.4 音訊預處理 ....................... 187
4.4.1 回聲消除 AEC........... 187
4.4.2 自動增益控制 AGC ..... 192
4.4.3 主動雜訊抑制 ANS ..... 194
4.4.4 語音活動檢測 VAD ..... 196
第 5 章 音訊渲染 199
5.1 音訊渲染基礎 .................... 199
5.1.1 數字音訊簡介 ........... 199
5.1.2 音訊渲染設備 ........... 202
5.1.3 音畫同步 ................. 204
5.2 平臺渲染介面 .................... 206
5.2.1 Windows 音訊渲染 ...... 206
5.2.2 macOS 音訊渲染 ........ 211
5.2.3 iOS 音訊渲染 ............ 212
5.2.4 Android 音訊渲染 ....... 213
5.3 高級音訊渲染 .................... 215
5.3.1 混音與均衡 .............. 215
5.3.2 重採樣.................... 219
5.3.3 空間音訊 ................. 220
5.3.4 音效技術 ................. 221
第 6 章 編解碼壓縮技術 225
6.1 文本壓縮 .......................... 225
6.1.1 文本壓縮簡介 ........... 225
6.1.2 霍夫曼編碼 .............. 226
6.1.3 Deflate 編解碼 ........... 227
6.2 圖像壓縮 .......................... 230
6.2.1 圖像壓縮簡介 ........... 230
6.2.2 JPEG 檔案格式 .......... 230
6.2.3 JPEG 解碼................ 231
6.3 視頻編解碼 ....................... 233
6.3.1 視頻編解碼器 ........... 233
6.3.2 MP4 檔案格式 ........... 239
6.3.3 位元速率調整演算法......... 240
6.4 音訊編解碼 ....................... 242
6.4.1 音訊編解碼器 ........... 242
6.4.2 MP3 檔案格式 ........... 244
6.4.3 Opus 編解碼 ............. 245
第 7 章 信令與媒體協商 249
7.1 信令技術 .......................... 249
7.1.1 信令通道 ................. 250
7.1.2 WebRTC 基礎概念 ...... 253
7.1.3 RTC 信令設計 ........... 256
7.1.4 配置與連接點獲取 ...... 257
7.2 媒體描述 .......................... 259
7.2.1 SDP 格式................. 259
7.2.2 SDP Offer ................ 261
7.2.3 SDP Answer.............. 263
7.3 媒體建連 .......................... 264
7.3.1 STUN ..................... 264
7.3.2 TURN..................... 266
7.3.3 ICE........................ 267
7.3.4 DTLS ..................... 268
7.4 發佈訂閱 .......................... 272
7.4.1 RTP ....................... 272
7.4.2 RTCP ..................... 274
7.4.3 SCTP ..................... 275
第 8 章 傳輸控制優化 277
8.1 擁塞控制 .......................... 277
8.1.1 頻寬探測 ................. 277
8.1.2 GCC 演算法 ................ 278
8.1.3 BBR 演算法 ................ 278
8.2 弱網降級 .......................... 281
8.2.1 弱網識別 ................. 281
8.2.2 分級策略 ................. 282
8.2.3 性能降級 ................. 283
8.3 抖動緩存與平滑發送 ............ 284
8.3.1 NetEQ .................... 285
8.3.2 Pacer ...................... 286
8.4 錯誤恢復 .......................... 287
8.4.1 超時重傳 ................. 287
8.4.2 前向糾錯 ................. 288
第 9 章 可擴展架構 289
9.1 應用概覽 .......................... 289
9.1.1 即時通話 ................. 289
9.1.2 會議與教育 .............. 291
9.1.3 遊戲語音與虛擬實境 ... 292
9.2 流水線............................. 293
9.2.1 Node ...................... 293
9.2.2 典型流水線 .............. 295
9.3 服務端架構 ....................... 297
9.3.1 媒體伺服器 .............. 297
9.3.2 高可用網路 .............. 298
9.3.3 全球化部署 .............. 299
9.4 網路設備 .......................... 301
第 10 章 評價指標 305
10.1 總體指標 .......................... 305
10.1.1 成功類指標 .............. 305
10.1.2 延遲類指標 .............. 308
10.1.3 卡頓類指標 .............. 313
10.1.4 指標拆解與歸因......... 315
10.2 視頻品質評估 .................... 318
10.2.1 客觀評測 ................. 318
10.2.2 主觀評測 ................. 319
10.3 音訊品質評估 .................... 321
10.3.1 客觀評測 ................. 321
10.3.2 主觀評測 ................. 322
10.4 網路品質評估 .................... 323
10.4.1 弱網測試標準 ........... 323
10.4.2 弱網測試工具 ........... 324
10.5 性能與穩定性 .................... 325
10.5.1 性能指標 ................. 325
10.5.2 穩定性指標 .............. 327
附錄 A 習題答案 329
附錄 B COM 編程基礎 331
附錄 C 構建工具 CMake 333
附錄 D 調試技巧 339
附錄 E 編程環境 343
附錄 F JNI 基礎 345
附錄 G RTC 術語 355
附錄 H WTL 簡介 359
附錄 I 索引 361
|
