人臉表情辨識算法及應用

1.1 人臉表情辨識系統概述

　　人臉表情辨識的過程一般包含三個主要步驟：人臉檢測與定位、表情特徵提取、人臉表情分類。

（1）人臉檢測與定位

　　建立一個人臉表情辨識系統，首先通過人臉檢測算法對輸入的人臉圖像或圖像序列進行檢測和定位，並且可以按照需求增加對眼睛、嘴巴等臉部關鍵部位的檢測和定位。其次在處理圖像序列時，可以對每幀進行人臉檢測，或者只檢測首幀，其餘用於人臉追蹤。同時考慮到背景、光照會對檢測和定位造成干擾，所以增加了圖像處理環節，對採集回來的圖像進行歸一化、均衡化、去除光照等，盡可能地減少外部環境對檢測結果造成的影響。

（2）表情特徵提取

　　這一步驟是人臉表情辨識系統中最為重要的部分，主要目的是從人臉圖像或圖像序列中提取出能夠有效表徵人臉表情特徵的資訊，去除一些多餘的資訊，即去冗餘處理，這樣可以提高圖像資訊的利用率。在提取特徵資訊之後，往往還需要對提取到的特徵進行降維，避免特徵維數過高而導致運算速度過慢。根據提取表情特徵類型的不同，可以將其分為靜態圖像序列的人臉表情辨識和動態圖像序列的人臉表情辨識。

　　大量實驗研究表明，行之有效的表情特徵提取工作可以大大提高系統的工作效率，簡化人臉分類器的設計，提高辨識率。表情特徵提取能夠完整地表達出人臉表情的特質，並且能夠去除噪音、光照等對表情特徵有著很強干擾的外部資訊，其數據表達形式簡單緊湊，維數不高，同時對於不同的表情之間有良好的區分性。

（3）人臉表情分類

　　對第二步提取到的表情特徵進行分析，利用模式辨識的方法首先對樣本進行訓練，然後對待檢樣本進行表情分類，可以將表情特徵劃分為六大基本表情，或劃分為人臉表情活動單元的組合。

1.2 基於動態圖像序列的人臉表情辨識的研究情況

　　早在1970年代，Suwa和Sugie等人就對基於動態圖像序列的人臉表情辨識進行了最初的嘗試。他們追蹤一段臉部影片動畫，得到每幀圖片上20個關鍵點的運動規律，將此運動規律與預先建立的不同表情的關鍵點運動模型相比較，從而進行表情分析。

　　基於動態圖像序列的人臉表情辨識的真正發展是在1990年代。日本的ART媒體整合與通訊研究實驗室的Kenji Mase等人提出使用光流法來追蹤表情運動單元，從而進行表情的辨識工作。其表情分析思想為：首先，假定臉部圖像被分解成肌肉單元，把肌肉單元集合成矩形;其次，在矩形區域中運算光流，量化成4個方向，每個視窗提取一個主要的肌肉收縮方向。定義提取一個長度為15維的特徵向量來表徵表情序列中光流變化最活躍的點，數據來源於若干組不同的表情圖像序列：20組作為樣本數據，30組作為測試數據，圖像像素大小為256×240。研究者對高興、憤怒、厭惡、驚奇四種基本表情進行了分類實驗，分類器應用了基於K近鄰的方法，辨識率達到了80％。

　　美國喬治亞理工學院MIT媒體實驗室的Alex Pentland教授和Irfan Essa教授設計了一個以圖像序列作為輸入的電腦視覺系統，並用該系統來觀察面部表情運動單元。系統的觀察和感知是通過優化估計光流方法與描述面部的幾何結構以及建立肌肉的物理模型相結合的方法實現的。這種方法產生了一個隨時間變化的面部形狀的空間模板和一個獨立的肌肉運動群的參數化表徵。這些肌肉運動模板可以被用於分析、解析與合成表情。其中實驗所用序列圖像像素大小為450×380，來源於7個對象的52組表情圖像序列。辨識的表情包括高興、驚奇、憤怒、厭惡和抬眉，辨識率達到了98％。

　　來自美國匹兹堡大學的Cohn和來自美國卡內基梅隆大學的Kanade等人使用光流法進行面部表情細微變化的辨識。通過評價光流的分級算法自動追蹤獲取人臉表情的動態特徵，並對眉毛和嘴部區域以及混合動作單元進行辨識。

　　美國馬里蘭大學的Yaser Yacoob和Larry Davis等人所使用的表情辨識方法都是基於面部動作編碼系統（Facial Action Coding System，FACS）的。他們集中於分析和嘴、眼睛、眉毛邊緣相關的運動，把光流的方向場量化成8個方向。同時建立Beginning-Apex-Ending時間模型，規定每種表情的這個過程均以中性表情開始和結束，並定義了變化過程中每個階段開始與結束的規則。辨識算法使用簡化的FACS規則來辨識六種基本表情。他們的數據來源於32個對象的105組表情圖像序列，圖像像素大小為120×160。對六種基本表情的辨識率分別為：

　　高興86％、驚奇94％、厭惡92％、憤怒92％、恐懼86％、悲傷80％。Mark Rosenblum 和Yaser Yacoob等人使用徑向基函數網路（Racial Basis Function Network, RBFN）結構學習臉部特徵運動。該結構在最高一級辨識表情，在中間一級決定臉部的運動方向，在最低一級恢復臉部的運動方向。特徵提取中不關注臉部的肌肉運動模型，只關注特徵部位的邊緣運動。此系統的辨識率達到了88％。

　　英國劍橋大學電腦實驗室的Rana El Kaliouby和Peter Robinson等人的研究主要是為了通過表情辨識能夠自動並實時地分析使用者的精神狀態。他們首先截取影片流中的頭肩圖像序列，接著對圖像序列進行運動單元分析，最後利用HMM 分類器分析頭部運動和表情。實驗中使用了207組圖像序列，其中包括90組基本表情和107組混合表情，系統對基本表情的辨識率達到了86％，而對混合表情的辨識率為79％。

　　在中國，哈爾濱工業大學的金輝和中科院的高文提出了一種人臉面部混合表情辨識系統。該系統首先把臉部分成各個表情特徵區域，分別提取其運動特徵，並按照時序組成特徵序列，然後分析不同特徵區域包含的不同表情資訊的含義和表情的含量，最後通過機率融合來理解、辨識任意時序長度的、複雜的混合表情圖像序列，此系統的辨識率達到了96.9％。

　　楊鵬、劉青山等人提出了一種基於動態特徵編碼的人臉表情辨識方法，並且將這種方法應用到基於影片的人臉表情辨識中。楊鵬等人應用Cohn-Kanade表情庫，對所提出的算法做了實驗，並且與靜態圖像下的人臉表情辨識方法做了對比，對比結果表明動態圖像序列的辨識結果要優於靜態圖像的辨識結果。

1.1 人臉表情辨識系統概述

　　人臉表情辨識的過程一般包含三個主要步驟：人臉檢測與定位、表情特徵提取、人臉表情分類。

（1）人臉檢測與定位

　　建立一個人臉表情辨識系統，首先通過人臉檢測算法對輸入的人臉圖像或圖像序列進行檢測和定位，並且可以按照需求增加對眼睛、嘴巴等臉部關鍵部位的檢測和定位。其次在處理圖像序列時，可以對每幀進行人臉檢測，或者只檢測首幀，其餘用於人臉追蹤。同時考慮到背景、光照會對檢測和定位造成干擾，所以增加了圖像處理環節，對採集回來的圖像進行歸一化、均衡化、去除光照等，盡可能地減...

第1章 緒論
　　1.1 人臉表情辨識系統概述
　　1.2 基於動態圖像序列的人臉表情辨識的研究情況
　　1.3 微表情辨識的研究情況
　　　　1.3.1 微表情辨識的應用研究
　　　　1.3.2 微表情表達的研究
　　　　1.3.3 微表情辨識的算法研究
　　　　1.3.4 微表情數據庫的研究
　　1.4 魯棒性人臉表情辨識的研究情況
　　　　1.4.1 面部有遮擋的表情辨識研究現狀
　　　　1.4.2 非均匀光照下的表情辨識研究現狀
　　　　1.4.3 與視角無關的表情辨識研究現狀
　　1.5 人臉表情辨識相關資料匯總
　　參考文獻
第2章 人臉檢測與定位
　　2.1 概述
　　2.2 基於膚色分割和模板匹配算法的快速人臉檢測
　　　　2.2.1 基於彩色資訊的圖像分割
　　　　2.2.2 自適應模板匹配
　　　　2.2.3 仿真實驗及結果分析
　　2.3 改進Adaboost算法的人臉檢測
　　　　2.3.1 由擴展的Haar-like特徵生成弱分類器
　　　　2.3.2 Adaboost算法生成強分類器
　　　　2.3.3 級聯分類器的生成
　　　　2.3.4 極端學習機
　　　　2.3.5 仿真實驗及結果分析
　　參考文獻
第3章 基於Candide3模型的人臉表情追蹤及動態特徵提取
　　3.1 概述
　　3.2 基於Candide3臉模型的追蹤算法研究
　　　　3.2.1 Candide3臉模型的研究
　　　　3.2.2 基於Candide3模型的追蹤算法研究
　　3.3 追蹤算法改進
　　　　3.3.1 光照處理
　　　　3.3.2 基於在線表觀模型的追蹤算法
　　　　3.3.3 模型的自動初始化研究
　　　　3.3.4 改進算法後追蹤實驗
　　3.4 動態特徵提取
　　　　3.4.1 特徵點的追蹤
　　　　3.4.2 動態特徵提取
　　　　3.4.3 基於k均值的聚類分析
　　參考文獻
第4章 表情分類的實現
　　4.1 概述
　　4.2 K近鄰分類器
　　　　4.2.1 K近鄰規則
　　　　4.2.2 K近鄰分類的距離度量
　　　　4.2.3 基於K近鄰分類器的分類實驗
　　4.3 流形學習
　　　　4.3.1 主成分分析 （PCA）
　　　　4.3.2 拉普拉斯映射 （LE）
　　　　4.3.3 基於流形學習的降維分類實驗
　　4.4 支持向量機
　　　　4.4.1 支持向量機的基本思想
　　　　4.4.2 非線性支持向量機
　　　　4.4.3 基於支持向量機的分類實驗
　　4.5 基於Adaboost的分類研究
　　　　4.5.1 Adaboost算法
　　　　4.5.2 基於Adaboost的分類實驗
　　參考文獻
第5章 人臉動態序列圖像表情特徵提取
　　5.1 概述
　　5.2 基於主動外觀模型的運動特徵提取
　　　　5.2.1 主動形狀模型
　　　　5.2.2 幾何特徵提取
　　5.3 基於Candide3 三維人臉模型的動態特徵提取
　　　　5.3.1 Candide3 三維人臉模型
　　　　5.3.2 提取表情運動參數特徵
　　5.4 動態時間規整（ DTW）
　　5.5 特徵選擇
　　　　5.5.1 基於Fisher準則的特徵選擇
　　　　5.5.2 基於分布估計算法的特徵選擇
　　5.6 仿真實驗及結果分析
　　　　5.6.1 基於主動外觀模型的運動特徵提取
　　　　5.6.2 基於Candide3 模型的動態特徵提取
　　參考文獻
第6章 基於子空間分析和改進最近鄰分類的表情辨識
　　6.1 概述
　　6.2 特徵降維
　　　　6.2.1 非線性流形學習方法
　　　　6.2.2 線性子空間方法
　　6.3 改進最近鄰分類法
　　6.4 仿真實驗及結果分析
　　參考文獻
第7章 微表情序列圖像預處理86
　　7.1 概述
　　7.2 灰階歸一化
　　7.3 尺度歸一化
　　7.4 序列長度歸一化
　　　　7.4.1 時間插值法原理
　　　　7.4.2 時間插值法建模
　　　　7.4.3 時間插值法實現
　　參考文獻
第8章 基於多尺度LBP-TOP的微表情特徵提取
　　8.1 概述
　　8.2 多尺度分析
　　　　8.2.1 平滑濾波
　　　　8.2.2 高斯微分
　　8.3 局部二值模式
　　　　8.3.1 原始LBP
　　　　8.3.2 改進LBP
　　　　8.3.3 降維
　　　　8.3.4 靜態特徵統計
　　8.4 時空局部二值模式
　　　　8.4.1 LBP-TOP
　　　　8.4.2 動態特徵統計
　　8.5 多尺度LBP-TOP
　　參考文獻
第9章 基於全局光流與LBP-TOP特徵結合的微表情特徵提取
　　9.1 概述
　　9.2 相關理論
　　　　9.2.1 運動場及光流場
　　　　9.2.2 經典運算方法
　　9.3 問題描述
　　　　9.3.1 約束條件
　　　　9.3.2 模型構建
　　9.4 算法實現
　　　　9.4.1 目標優化
　　　　9.4.2 多解析度策略
　　　　9.4.3 特徵統計
　　9.5 光流與LBP-TOP特徵結合
　　參考文獻
第10章 人臉微表情分類器設計及實驗分析
　　10.1 概述
　　10.2 支持向量機
　　　　10.2.1 分類原理
　　　　10.2.2 樣本空間
　　　　10.2.3 模型參數優化
　　10.3 隨機森林
　　　　10.3.1 集成學習
　　　　10.3.2 決策樹
　　　　10.3.3 組合分類模型
　　10.4 評價準則
　　10.5 實驗對比驗證
　　　　10.5.1 辨識LBP-TOP特徵
　　　　10.5.2 辨識GDLBP-TOP特徵
　　　　10.5.3 辨識OF特徵
　　　　10.5.4 辨識LBP-TOP＋OF特徵
　　參考文獻
第11章 基於Gabor多方向特徵融合與分塊直方圖的表情特徵提取
　　11.1 概述
　　11.2 人臉表情圖像的Gabor特徵表徵
　　　　11.2.1 二維Gabor濾波器
　　　　11.2.2 人臉表情圖像的Gabor特徵表徵
　　11.3 二維Gabor小波多方向特徵融合
　　　　11.3.1 融合規則1
　　　　11.3.2 融合規則2
　　11.4 分塊直方圖特徵選擇
　　11.5 基於Gabor特徵融合與分塊直方圖統計的特徵提取
　　11.6 算法可行性分析
　　11.7 實驗描述及結果分析
　　　　11.7.1 實驗流程
　　　　11.7.2 表情圖庫中圖像預處理
　　　　11.7.3 實驗描述
　　　　11.7.4 實驗結果分析
　　　　11.7.5 所選融合特徵的尺度分析
　　參考文獻
第12章 基於對稱雙線性模型的光照魯棒性人臉表情分析
　　12.1 概述
　　12.2 雙線性模型
　　12.3 基於對稱雙線性變換的表情圖像處理
　　12.4 光照變換
　　12.5 實驗描述及結果分析
　　　　12.5.1 實驗描述
　　　　12.5.2 實驗對比
　　參考文獻
第13章 基於局部特徵徑向編碼的局部遮擋表情特徵提取
　　13.1 概述
　　13.2 表情圖像預處理
　　13.3 局部特徵提取與表徵
　　13.4 Gabor特徵徑向編碼
　　13.5 算法可行性分析
　　13.6 實驗描述及結果分析
　　　　13.6.1 局部子塊數對辨識結果的影響
　　　　13.6.2 徑向網格尺寸對辨識結果的影響
　　　　13.6.3 左/右人臉區域遮擋對辨識結果的影響
　　　　13.6.4 不同局部特徵編碼方法的實驗對比分析
　　　　13.6.5 遮擋對於表情辨識的影響
　　參考文獻
第14章 局部累加核支持向量機分類器
　　14.1 概述
　　14.2 支持向量機基本理論
　　　　14.2.1 廣義最佳分類面
　　　　14.2.2 線性分類問題
　　　　14.2.3 支持向量機
　　　　14.2.4 核函數
　　14.3 局部徑向基累加核支持向量機
　　14.4 局部歸一化線性累加核支持向量機
　　14.5 實驗描述及結果分析
　　　　14.5.1 實驗描述
　　　　14.5.2 對比實驗
　　參考文獻
第15章 基於主動視覺的人臉追蹤與表情辨識系統
　　15.1 概述
　　15.2 系統架構
　　　　15.2.1 硬體設計
　　　　15.2.2 使用者介面的設計
　　15.3 相關算法
　　　　15.3.1 雲臺追蹤算法
　　　　15.3.2 表情辨識算法
15.4仿真實驗及結果分析
　　　　15.4.1 人臉定位追蹤實驗
　　　　15.4.2 人臉表情辨識實驗
　　參考文獻

第1章 緒論
　　1.1 人臉表情辨識系統概述
　　1.2 基於動態圖像序列的人臉表情辨識的研究情況
　　1.3 微表情辨識的研究情況
　　　　1.3.1 微表情辨識的應用研究
　　　　1.3.2 微表情表達的研究
　　　　1.3.3 微表情辨識的算法研究
　　　　1.3.4 微表情數據庫的研究
　　1.4 魯棒性人臉表情辨識的研究情況
　　　　1.4.1 面部有遮擋的表情辨識研究現狀
　　　　1.4.2 非均匀光照下的表情辨識研究現狀
　　　　1.4.3 與視角無關的表情辨識研究現狀
　　1.5 人臉表情辨識相關資料匯總
　　參考文獻
第2章 人臉檢測與定位
...