AI之眼 - 幻影操控、變臉、唇語、美妝、手勢、肢體、表情偵測、人臉辨識 Python創意實戰

序
2025 年2 月，筆者撰寫並出版了《AI 視覺 - 最強入門邁向頂尖高手之路》。雖然全書涵蓋32 個章節、832 頁的豐富內容，但筆者仍覺得難以充分展現AI 視覺的多元應用。尤其在AI 繪圖技術崛起後，「變臉、唇語、美妝、濾鏡⋯⋯」等功能已成為人們唾手可得的熱門工具，這股新潮流也進一步激發了筆者對其底層程式設計原理的好奇。正因如此，筆者決定撰寫這本應用書籍，嘗試揭開這些AI 工具的潘朵拉之盒。
在《Mission Impossible》電影中，觀眾曾見到湯姆克魯斯隔空拖曳螢幕、展現幻影操控的科幻場景。本書將透過程式實作與詳盡解析，帶領讀者一同探索並實現類似的應用，使「幻影操控」不再只是電影特效，而是日常中可以實際體驗的創新技術。
在近年來，人工智慧在影像處理與電腦視覺領域的應用可說是突飛猛進。隨著硬體效能的提升，以及Python、OpenCV、MediaPipe、Dlib、DeepFace 等工具與套件的日趨成熟，越來越多開發者開始嘗試將人臉偵測、表情識別、手勢追蹤等技術實際應用到各種場景之中。此時，本書《AI 之眼 - 幻影操控、變臉、唇語、美妝、手勢、肢體、表情偵測、人臉辨識 Python 創意實戰》正好提供了一個深度學習、動手實作的機會，
讓你全方位體驗這些尖端技術的魅力。
全書共分為十五章，內容環環相扣，步步深入。從最初的環境配置與基礎知識，到後續涵蓋人臉、手勢與肢體偵測，再一路帶領讀者體驗AI 變臉、表情偵測、美妝濾鏡、門禁系統設計等創意應用。以下簡要說明各章節精華，讓你在正式展開閱讀前，先一覽本書的全貌。
第1 章至第2 章，先從MediaPipe 的基礎原理與介面介紹著手，接著進一步掌握如何取得攝影機與影片的影像輸入。這一部分不僅為後續的實作奠定扎實基礎，也讓讀者能熟悉開發過程中所需的技術環境。
第3 章與第4 章，聚焦在最實用的人臉偵測技術。透過人臉偵測的原理介紹以及初步專題實作，讀者將會看到如何將語音輸出與人臉偵測結合，創造出更具互動性的應用。
第5 章與第6 章，進一步介紹人臉關鍵點偵測與表情辨識，這也是許多人臉應用的核心。無論是疲勞駕駛警示、情緒識別或是未來的智慧安全系統，都能透過這些技術加以實現或優化。
第7 章談到「AI 變臉」，是近年來相當火紅的創意應用。讀者可透過本章，了解如何使用深度學習與人臉關鍵點技術，做到擬真且自然的臉部替換效果。隨後在第8章與第9 章，引領大家探索MediaPipe Face Mesh 468 點高精度的人臉網格偵測技術，並進一步探討如何利用這些細膩的人臉資訊，開發更多驚奇有趣的效果。
第10 章與第11 章，則專注在MediaPipe Hands 的手勢偵測，並帶領讀者理解與應用手部關鍵點資訊。結合先前的影像處理與多媒體互動技術，讀者可以嘗試開發出手勢控制遊戲、手勢密碼解鎖等更廣泛的應用。
第12 章與第13 章，將視野擴大到全身偵測與背景去除。不論是人體姿勢偵測或背景替換，都將為讀者開啟更多創作可能。例如虛擬攝影棚、健身動作矯正、虛實整合的動態影片等。
第14 章則進一步延伸到MediaPipe Holis􀆟c，同時偵測人臉、手勢與身體姿勢，將所有關鍵點資訊一次掌握，真正展現出多模態AI 的強大。此時，讀者不只可實現基礎的追蹤系統，更能邁向更高層次的整合式應用。
最後在第15 章，介紹了DeepFace 的人臉辨識技術，並將前面所學融會貫通，設計出結合門禁系統的人臉識別應用。從此，你將能進一步瞭解如何使用AI 驅動實際的安全與辨識服務，切實落實各種可能的商業模式或專案需求。
本書的目標並不僅止於教讀者「怎麼做」，更希望能啟發你「能怎麼用」。隨著每一章的遞進，我們同時也希望你能從中感受到科技與創意的火花，並擴散至你日後的各項專案中。無論你是初學者，或者已經在AI 與電腦視覺領域有一定的基礎，相信本書都能帶給你不同層次的啟發與應用靈感。
願這本能成為你AI 影像技術道路上的良伴，助你激發更多跨領域的創新思維，開闢更廣闊的實踐舞台。祝閱讀愉快，旅程精彩！編著本書雖力求完美，但是學經歷不足，謬誤難免，尚祈讀者不吝指正。
洪錦魁2025/03/15
jiinkwei@me.com

臉書粉絲團
歡迎加入：王者歸來電腦專業圖書系列
歡迎加入：MQTT 與AIoT 整合應用
歡迎加入：iCoding 程式語言讀書會(Python, Java, C, C++, C#, JavaScript, 大數據,人工智慧等不限)，讀者可以不定期獲得本書籍和作者相關訊息。
歡迎加入：深度機器學習線上讀書會
歡迎加入：穩健精實AI 技術手作坊
讀者資源說明
請至本公司網頁https://deepwisdom.com.tw 下載本書程式實例與習題所需的影像素材檔案。

序
2025 年2 月，筆者撰寫並出版了《AI 視覺 - 最強入門邁向頂尖高手之路》。雖然全書涵蓋32 個章節、832 頁的豐富內容，但筆者仍覺得難以充分展現AI 視覺的多元應用。尤其在AI 繪圖技術崛起後，「變臉、唇語、美妝、濾鏡⋯⋯」等功能已成為人們唾手可得的熱門工具，這股新潮流也進一步激發了筆者對其底層程式設計原理的好奇。正因如此，筆者決定撰寫這本應用書籍，嘗試揭開這些AI 工具的潘朵拉之盒。
在《Mission Impossible》電影中，觀眾曾見到湯姆克魯斯隔空拖曳螢幕、展現幻影操控的科幻場景。本書將透過程式實作與詳盡解析，帶領讀者...

第1章　認識MediaPipe
▌1-1 MediaPipe 是什麼？概念與應用
1-1-1 MediaPipe 的背景與起源
1-1-2 MediaPipe 的核心架構
1-1-3 MediaPipe 在 Python 上的應用優勢
1-1-4 安裝MediaPipe
1-1-5 如何升級或降級MediaPipe 版本
▌1-2 主要應用領域與實際案例
▌1-3 MediaPipe 的程式核心Calculator 和Graph
▌1-4 驗證是否可以正確使用MediaPipe 模組
1-4-1 MediaPipe 的「Hello, world!」程式測試
1-4-2 Calculator 和 Graph 解釋人臉偵測程式
1-4-3 影片讀取與人臉偵測
1-4-4 無限迴圈播放影片

第2章　掌握影像輸入 - 攝影機與影片的運用
▌2-1 取得影像來源（Webcam / 影片檔）
2-1-1 Webcam（即時攝影機）
2-1-2 影片檔案
2-1-3 儲存影片檔案
▌2-2 更改影像大小
2-2-1 攝影機的輸出解析度（Frame Capture Size）
2-2-2 程式中顯示視窗的大小（Window Display Size）

第3章　人臉偵測
▌3-1 人臉偵測的意義與應用範圍
3-1-1 基礎定位功能
3-1-2 各式應用情境
3-1-3 核心地位
3-1-4 章節範圍與進階議題的預告
▌3-2 MediaPipe Face Detection 基本流程
3-2-1 建立模組物件
3-2-2 認識FaceDetection( ) 函數
3-2-3 函數初始化與主要參數
3-2-4 取得人臉 Bounding Box 與基礎關鍵點
3-2-5 process( ) 的輸入要求
3-2-6 未偵測到人臉
3-2-7 With 關鍵字的應用
▌3-3 註解人臉位置與關鍵點數據
3-3-1 中文註解人臉位置與關鍵點數據
3-3-2 手工繪製人臉框和關鍵點
▌3-4 MediaPipe 輔助繪圖模組
3-4-1 drawing_utils 輔助繪圖基礎觀念
3-4-2 draw_detection( ) 函數
3-4-3 自訂顏色、大小、粗細 - DrawSpec( )
▌3-5 多人照片人臉偵測
3-5-1 多人照片人臉測試基礎
3-5-2 處理無法偵測到全部人臉的問題
3-5-3 偵測更多臉的實作
3-5-4 人臉編號與信心分數
3-5-5 MediaPipe 未說明的機制
▌3-6 多人影片人臉偵測
▌3-7 多人即時攝影機人臉偵測

第4章　語音輸出與人臉偵測專題
▌4-1 語音輸出 – 離線模組pyttsx3
4-1-1 pyttsx3 的特點
4-1-2 基本用法
4-1-3 語音引擎屬性設定
▌4-2 人臉偵測的應用
▌4-3 安全監控
▌4-4 新聞報導人臉馬賽克
4-4-1 圖像馬賽克原理
4-4-2 設計新聞報導時的人臉馬賽克系統
▌4-5 智慧型攝影對焦
4-5-1 圖像亮度調整原理
4-5-2 圖片人臉亮度調整
4-5-3 智慧型攝影對焦 – 整體畫面調整
4-5-4 智慧型攝影對焦 – 臉部畫面調整

第5章　人臉關鍵點偵測 - 68 點模型
▌5-1 緣起與背景
5-1-1 人臉偵測與關鍵點在電腦視覺中的地位
5-1-2 從人臉偵測到關鍵點定位的演進
▌5-2 68點模型概述
5-2-1 模型來源與資料庫
5-2-2 68 個關鍵點的位置分佈
5-2-3 模型優點與限制
5-2-4 為何選擇 68 點模型
▌5-3 Dlib 模組 - 人臉偵測基礎
5-3-1 初始化人臉偵測器
5-3-2 get_frontal_face_detector( )的核心技術
5-3-3 解析detector
▌5-4 Dlib 68 點人臉關鍵點偵測
5-4-1 dlib.shape_predictor( ) 的基本概念
5-4-2 解析predictor
5-4-3 標記人臉68 個關鍵點
▌5-5 人臉對齊
5-5-1 演算法硬功夫處理人臉對齊
5-5-2 應用場景
▌5-6 多人臉的偵測
5-6-1 多人臉與關鍵點的偵測
5-6-2 多人臉68 點關鍵點容器
5-6-3 多張人臉對齊實作
▌5-7 AI 貼圖(AI Stickers)
5-7-1 什麼是 AI 貼圖 (AI Stickers) ？
5-7-2 AI 貼圖的技術核心6
5-7-3 愛心圖片貼到雙眼的實例
5-7-4 AI貼圖的應用場景

第6章　疲勞駕駛與表情識別
▌6-1 疲勞駕駛偵測
6-1-1 疲勞駕駛的主要偵測方法
6-1-2 眼睛開合比 (Eye Aspect Ratio, EAR)
6-1-3 嘴巴開合程度偵測 (Mouth Aspect Ratio, MAR)
6-1-4 疲勞駕駛偵測實作
▌6-2 人臉表情識別系統
6-2-1 相關表情關鍵點解析
6-2-2 6大主要情緒對應表

第7章　AI 變臉
▌7-1 AI 變臉 – 演算法原理
▌7-2 變臉程式設計
7-2-1 程式設計
7-2-2 主程式分析
▌7-3 程式重點函數分析
7-3-1 三角剖分 (delaunay_triangulation)
7-3-2 三角形仿射貼合(Triangle Affine Warp)
7-3-3 膚色高斯化校正(color_transfer_gaussian)
▌7-4 圖像貼合的羽化遮罩處理
7-4-1 圖像貼合不自然的銜接
7-4-2 Feathering（羽化）的原理

第8章　MediaPipe Face Mesh 高精度468點人臉識別技術解析
▌8-1 為什麼需要 Face Mesh？
8-1-1 基礎觀念
8-1-2 傳統人臉框與68 點模型的限制
8-1-3 與 Face Mesh 的對比
▌8-2 MediaPipe Face Mesh 介紹
8-2-1 即時處理、高效能與易整合特點
8-2-2 468 點模型的全域概念
▌8-3 認識臉部468 點
8-3-1 高密度人臉關鍵點概述
8-3-2 468 點定位分佈
▌8-4 MediaPipe Face Mesh 模組
8-4-1 建立模組物件
8-4-2 檢測影像與回傳數據
8-4-3 硬功夫繪製468 點數據
▌8-5 繪製臉部網格
8-5-1 繪製臉部關鍵點
8-5-2 繪製臉部網格
8-5-3 繪製臉部關鍵部位連線
8-5-4 用錄影機偵測臉部關鍵點
▌8-6 展示468 點所在關鍵臉部區域的索引點
8-6-1 認識臉部關鍵連線的數據結構
8-6-2 輸出關鍵區域的索引點和像素位置

第9章　Face Mesh 的創意應用
▌9-1 Face Mesh 的可能應用
▌9-2 彩妝的應用
▌9-3 人臉趣味變形 - 向右伸長的嘴角
▌9-4 唇語動畫設計

第10章　 MediaPipe Hands 手勢偵測
▌10-1 初探 MediaPipe Hands 模組
10-1-1 MediaPipe Hands 功能概覽
10-1-2 21 個關鍵點的座標定義與排列
10-1-3 如何判斷手勢
▌10-2 偵測手語繪製關節
10-2-1 初始化MediaPipe Hands 物件
10-2-2 hands.process( ) 函數用法
10-2-3 mp_drawing.draw_landmarks( )函數用法
10-2-4 手部點樣式
10-2-5 手部點連線樣式
10-2-6 攝影機偵測應用
▌10-3 專題實作 - 剪刀、石頭與布

第11章　AI 幻影操控
▌11-1 MediaPipe Hands 的應用領域
11-1-1 手勢控制 (Gesture Control)
11-1-2 擴增實境 (AR) / 虛擬實境 (VR)
11-1-3 視訊 / 直播互動
11-1-4 AI 虛擬人物 (AI Avatars)
11-1-5 醫療 & 康復 (Medical & Rehabilitation)
11-1-6 企業 & AI 自動化
▌11-2 判斷 OK 手勢
11-2-1 判斷邏輯
11-2-2 程式實作
▌11-3 OK 手勢計時器
11-3-1 設計邏輯
11-3-2 程式實作
▌11-4 手勢幻影操控
11-4-1 設計邏輯
11-3-2 程式實作

第12章　AI 人體姿勢偵測 - MediaPipe Pose
▌12-1 認識MediaPipe Pose
12-1-1 Pose 的特點
12-1-2 Pose ( 人體姿勢偵測) vs FaceMesh( 臉部網格)
12-1-3 Pose ( 人體姿勢偵測) vs Hands( 手部偵測)
▌12-2 33個關鍵點詳細解說
12-2-1 Pose 的33 個關鍵點
12-2-2 MediaPipe Pose 只偵測 11 個頭部點
▌12-3 MediaPipe Pose 模組
12-3-1 建立模組物件
12-3-2 實作偵測圖像的人體
12-3-3 標記人體33 個關鍵點
▌12-4 繪製人體骨架
12-4-1 預設環境繪製人體骨架
12-4-2 官方推薦預設繪製關鍵點樣式
12-4-3 自訂繪製格式
12-4-4 多元connections 的應用
▌12-5 攝影機錄製人體骨架
▌12-6 AI 人體動作分析 - 座標、距離與角度計算
12-6-1 座標計算
12-6-2 關鍵點的列舉常數
12-6-3 計算關鍵點之間的距離
12-6-4 計算關鍵點的角度
▌12-7 伏地挺身與深蹲中
12-7-1 關鍵點角度的應用範圍
12-7-2 偵測「伏地挺身中」或「深蹲中」

第13章　AI 靜態圖像與攝影背景去除
▌13-1 為何需要背景去除？
13-1-1 背景去除的概念
13-1-2 背景去除的關鍵應用場景
13-1-3 背景去除對 AI 偵測的影響
13-1-4 背景去除的技術選擇
▌13-2 使用 MediaPipe Selfie Segmentation進行背景去除
13-2-1 什麼是 MediaPipe Selfie Segmentation?
13-2-2 Selfie Segmentation 的運作原理
▌13-3 MediaPipe Selfie Segmentation 模組
13-3-1 建立模組物件
13-3-2 process( ) 方法處理影像
13-3-3 認識回傳值segmentation_mask – 遮罩結構
13-3-4 轉換遮罩為灰階影像
▌13-4 圖像背景去除實作
13-4-1 設計黑色和白色背景
13-4-2 建立背景是高斯模糊
13-4-3 圖片取代背景
▌13-5 智慧攝影機背景處理
▌13-6 AI 背景的創意應用

第14章　AI 全身偵測 – Holistic
▌14-1 Holistic 簡介
14-1-1 什麼是 Holistic 識別？
14-1-2 關鍵點檢測的範圍（臉部、手部、姿態）
14-1-3 Holistic 與其他 MediaPipe 模組的差異說明
▌14-2 架構與資料輸出
14-2-1 Holistic 識別的流程
14-2-2 關鍵點資料的結構
14-2-3 姿態、手勢、臉部數據的組合
▌14-3 MediaPipe Holistic 模組
14-3-1 建立模組物件
14-3-2 處理影像並取得結果results
▌14-4 AI 全身動作偵測與視覺化
14-4-1 基本預設繪製全身關鍵點
14-4-2 官方推薦標準樣式繪製全身關鍵點
14-4-3 繪製全身關鍵點 – 去背與背景是影片
▌14-5 Holistic 全身偵測的創意應用
14-5-1 創意應用
14-5-2 AI 健身教練 - 深蹲計數器

第15章　 DeepFace 人臉辨識 設計門禁系統
▌15-1 DeepFace 簡介
15-1-1 什麼是 DeepFace ？
15-1-2 DeepFace 與一般人臉識別的差異
15-1-3 DeepFace 在 AI 和計算機視覺中的重要性
▌15-2 預訓練模型下載檔案
15-2-1 比較DeepFace 與MediaPipe 模組
15-2-2 預訓練模型下載
▌15-3 使用 DeepFace 進行人臉分析
15-3-1 使用 DeepFace 進行人臉分析
15-3-2 年齡預測
15-3-3 性別預測
15-3-4 情緒分析
15-3-5 種族預測
▌15-4 DeepFace 的人臉辨識技術基礎
15-4-1 深度學習與卷積神經網路在DeepFace的應用
15-4-2 人臉辨識的主要步驟
▌15-5 人臉辨識實作
15-5-1 基礎實例
15-5-2 認識DeepFace 支援的深度學習模型
▌15-6 設計企業門禁系統
15-6-1 建立人臉數據庫 -（ Embedding 存儲）
15-6-2 將人臉與數據庫特徵向量比對
15-6-3 門禁系統設計

第1章　認識MediaPipe
▌1-1 MediaPipe 是什麼？概念與應用
1-1-1 MediaPipe 的背景與起源
1-1-2 MediaPipe 的核心架構
1-1-3 MediaPipe 在 Python 上的應用優勢
1-1-4 安裝MediaPipe
1-1-5 如何升級或降級MediaPipe 版本
▌1-2 主要應用領域與實際案例
▌1-3 MediaPipe 的程式核心Calculator 和Graph
▌1-4 驗證是否可以正確使用MediaPipe 模組
1-4-1 MediaPipe 的「Hello, world!」程式測試
1-4-2 Calculator 和 Graph 解釋人臉偵測程式
1-4-3 影片讀取與人臉偵測
1-4-4 無限迴圈播放影片

第2章　掌握影像輸入 - 攝影機...