無懈可擊的3D視訊處理技術

前言

3D 視訊能給觀看者帶來立體感和臨場感，是新一代視訊技術的發展方向。自21 世紀初開始形成3D 視訊技術研究熱潮以來，3D 視訊技術的發展非常快速。歐盟、美國、日本、韓國等的科學研究機構在3D 技術理論研究上獲得了許多突破性成果，中國大陸也同步取得了許多令世界矚目的成果，這些成就推動了3D 技術的發展。「阿凡達」立體電影掀起了3D 應用的高潮，之後國際上開播了60 多家3D 電視頻道，倫敦奧運會也實現了第一次3D 轉播，這些帶動了相關產業的快速發展，在影視、動漫、科展等文化產業以及軍事、航空太空、醫療等專業領域的應用前景十分廣闊。應用的發展又對理論研究不斷提出新的要求。目前無論是在技術、產品，還是市場應用，以深度為基礎的自由視點視訊技術都成為3D 視訊技術新的熱點方向。

3D 技術的類型很多，常隨應用目標的不同而異，本書受篇幅所限，不可能包羅萬象。結合作者團隊近年來在3D 視訊處理方面的部分研究成果，本書主要集中在以自由視點視訊系統各組成部分的基本理論、結構和典型的實現方法，重點討論以深度增強格式為基礎的3D 視訊技術。

全書分為6 章：

第1 章 主要敘述了3D 視訊系統的組成和不同類型系統的特點，回顧了3D技術的歷史和發展趨勢，歸納了主要的關鍵技術。

第2 章 介紹3D 彩色視訊資料獲取和深度取得的基本理論和方法，分析了系統結構的優選和關係模型以及多攝影機影像校正方法，重點說明以Kinect為基礎的深度取得和幾種以立體比對為基礎的深度估計方法。

第3 章 介紹視訊編碼壓縮的基本原理和主要方法，分析了以H.264/AVC 為基礎的多視點視訊編碼架構和3D-HEVC 的技術特點，討論了深度圖編碼的基本特性和典型方法。

第4 章 介紹差錯隱藏技術的原理和典型演算法，討論了多視點視訊和+深度視訊的差錯隱藏方法及技術特點，重點說明了多視點加深度視訊的差錯隱藏演算法。

第5 章 介紹虛擬視點合成的概念、發展概況、技術特點和實現流程，討論了透過深度圖前置處理來加強繪製品質的方法和透過後處理空洞填充來加強虛擬視點繪製的方法。

第6 章 簡要整體說明了立體視訊品質主觀評價和客觀評價的研究概況，介紹和討論了4 種全參考立體視訊評價方法和一種以深度合成為基礎的無參考立體視訊評價。

本書由安平教授擬定全書的大綱並執筆撰寫第1 章、第2 章和第5 章，對全書進行整合和定稿；由沈禮權副研究員執筆撰寫第3 章；由馬然副教授執筆撰寫第4 章；由王永芳副教授和張豔博士執筆撰寫第6 章。

本書內容採用了作者所指導的所究所學生劉蘇醒、張倩、張秋聞、張豔、左一帆、鞠芹、張洋、劉利亮、王奎、梁亮、劉德陽等論文的部分內容。特別感謝筆者的老師張兆楊教授對全書進行的修改和潤色。

儘管3D 視訊技術目前已有了較多的應用，但從整體上而言還是有待逐步加強、完整的新技術。本書作者水準有限，難免存在不妥之處，謹請讀者指正。

前言

3D 視訊能給觀看者帶來立體感和臨場感，是新一代視訊技術的發展方向。自21 世紀初開始形成3D 視訊技術研究熱潮以來，3D 視訊技術的發展非常快速。歐盟、美國、日本、韓國等的科學研究機構在3D 技術理論研究上獲得了許多突破性成果，中國大陸也同步取得了許多令世界矚目的成果，這些成就推動了3D 技術的發展。「阿凡達」立體電影掀起了3D 應用的高潮，之後國際上開播了60 多家3D 電視頻道，倫敦奧運會也實現了第一次3D 轉播，這些帶動了相關產業的快速發展，在影視、動漫、科展等文化產業以及軍事、航空太空、醫療等專業領域的應用前...

前言

Chapter 01 導論
1.1 立體視覺
1.2 3D 視訊系統
1.3 3D 視訊系統的發展概況及關鍵技術
1.4 本書的結構

Chapter 02 3D 視訊資料的擷取與深度取得
2.1 3D 視訊資料取得概述
2.2 3D 視訊資料的擷取
2.3 多視圖像校正
2.4 3D 視訊資料的深度取得

Chapter 03 3D 視訊加深度編碼
3.1 引言
3.2 視訊編碼技術與視訊編碼標準
3.3 以H.264/HEVC 為基礎的多視編碼架構
3.4 以深度增強為基礎的多視編碼
3.5 深度圖編碼方法

Chapter 04 3D 視訊的差錯隱藏
4.1 視訊系統與差錯隱藏
4.2 MVV 和V+D 的差錯隱藏
4.3 MVD 的差錯隱藏

Chapter 05 以深度影像為基礎的虛擬視點產生
5.1 引言
5.2 虛擬視點合成
5.3 以深度影像為基礎的虛擬視點合成的一般方法
5.4 深度圖增強前置處理
5.5 以深度為基礎的虛擬視繪製中的後處理空洞填充技術

Chapter 06 立體視訊的品質評價
6.1 立體視訊的品質評價方法概述
6.2 全參考立體視訊評價
6.3 無參考立體視訊評價

前言

Chapter 01 導論
1.1 立體視覺
1.2 3D 視訊系統
1.3 3D 視訊系統的發展概況及關鍵技術
1.4 本書的結構

Chapter 02 3D 視訊資料的擷取與深度取得
2.1 3D 視訊資料取得概述
2.2 3D 視訊資料的擷取
2.3 多視圖像校正
2.4 3D 視訊資料的深度取得

Chapter 03 3D 視訊加深度編碼
3.1 引言
3.2 視訊編碼技術與視訊編碼標準
3.3 以H.264/HEVC 為基礎的多視編碼架構
3.4 以深度增強為基礎的多視編碼
3.5 深度圖編碼方法

Chapter 04 3D 視訊的差錯隱藏
4.1 視訊系統與差錯隱藏
4.2 MVV 和V+D 的差錯隱藏
4.3 MVD 的...