港區影像智慧辨識技術之研究(2/3)空間資料環境分析及優化影像檢監測應用技術(114藍)

港區影像智慧辨識技術之研究(2/3)-空間資料環境分析及優化影像檢監測應用技術
目錄
中文摘要 I
英文摘要 II
目錄 III
圖目錄 XI
表目錄 XXI
第一章、前言 1-1
1.1 研究動機與目的 1-1
1.1.1 研究動機 1-1
1.1.2 研究目的 1-1
1.2 文獻回顧 1-2
1.2.1 傳統巡檢 1-2
1.2.2 無人載具發展與應用(空中、地面、水下) 1-3
1.2.3 影像技術發展與應用難度 1-4
1.3 歷年計畫成果回顧 1-4
1.3.1 臺中港(110~111年) 1-6
1.3.2 臺北港(112年) 1-7
1.3.3 臺北港(113年) 1-8
第二章、無人載具以及感測器硬體系統分析 2-1
2.1 空中無人載具 2-1
2.1.1 載具類型分析 2-1
2.1.2 飛行里程 2-3
2.1.3 感測器分析 2-7
2.2 地面無人載具 2-9
2.2.1 載具類型分析 2-9
2.2.2 行走里程 2-10
2.2.3 感測器分析 2-11
2.3 水下無人載具 2-17
2.3.1 載具類型分析 2-17
2.3.2 航行里程 2-18
2.3.3 感測器分析 2-19
2.4 本章小結 2-20
第三章、港區高細緻空間基礎資料建構 3-1
3.1 地形資料蒐集 3-1
3.1.1 控制點測量 3-1
3.1.2 影像資料蒐集 3-2
3.1.3 數值地形模型成果 3-3
3.1.4 正射影像成果 3-5
3.2 氣象資料蒐集 3-6
3.2.1 空中無人載具抗風與防水條件定義 3-6
3.2.2 港區風速評估 3-7
3.3 空中載具適宜性評估 3-12
3.4 本章小結 3-14
第四章、地面無人載具控制邏輯方法 4-1
4.1 操作介面說明 4-1
4.2 GPS定位 4-2
4.3 移動模式建構方法 4-3
4.4 避障測試 4-7
4.5 地圖建立方法 4-9
4.6 感測器測試(氣體、熱紅外) 4-10
4.6.1 有毒極易燃氣體感測器 4-10
4.6.2 熱紅外感測器 4-11
4.7 本章小結 4-13
第五章、臺中港感測資料自動化辨識技術發展 5-1
5.1 舊有標的物 5-1
5.2 岸邊設施自動化辨識分析 5-1
5.2.1 舊有辨識模型 5-1
5.2.2 新模型嘗試 5-4
5.2.3 辨識流程 5-7
5.2.4 辨識結果 5-9
5.3 北提路路況自動化辨識流程 5-10
5.3.1 舊有辨識模型 5-10
5.3.2 新模型嘗試 5-12
5.3.3 辨識流程 5-14
5.3.4 辨識結果 5-15
5.4 本章小結 5-16
第六章、臺北港感測資料自動化辨識技術發展 6-1
6.1 現有標的物精進 6-1
6.1.1 岸邊設施辨識模型更新 6-2
6.1.2 岸邊設施地理位置屬性 6-7
6.1.3 變電箱辨識模型更新 6-10
6.1.4 胸牆結構線偵測模型更新 6-15
6.1.5 碼頭面伸縮縫偵測模型更新 6-23
6.2 新增標的物 6-33
6.2.1 路面坑洞偵測模型建立 6-33
6.2.2 堤面鋼筋裸露 6-40
6.2.3 碼頭面裂縫 6-45
6.3 本章小結 6-49
第七章、多來源感測資料整合 7-1
7.1 港區現有感測器種類與應用現狀 7-1
7.1.1 環境監測感測器 7-1
7.1.2 貨櫃追蹤感測器 7-1
7.1.3 車輛感測器 7-1
7.1.4 設備感測器 7-1
7.1.5 CCTV感測器 7-2
7.2 現有岸邊設施模型與CCTV的結合 7-2
7.2.2 申請區域 7-2
7.2.3 選擇模型 7-3
7.3 本章小結 7-5
第八章、基於高細緻港區空間資料之環境分析 8-1
8.1 三維建物模型資料處理 8-1
8.1.1 建物模型結構萃取 8-1
8.1.2 屋頂結構模型建構 8-2
8.1.3 建物邊緣線篩除 8-3
8.2 港區日輻射資料 8-4
8.3 研究成果 8-4
8.3.1 接收日射量成果 8-4
8.3.2 系統發電量成果 8-6
8.4 本章小結 8-7
第九章、無人載具之通訊技術研析 9-1
9.1 空中無人載具 9-1
9.2 地面無人載具 9-3
9.3 本章小結 9-4
第十章、無人載具之影像即時串流建構 10-1
10.1 空中無人載具 10-1
10.2 地面無人載具 10-4
10.3 本章小結 10-5
第十一章、系統整合平台 11-1
11.1 平台架構與功能介紹 11-1
11.2 平台功能展示說明 11-2
11.2.1 基本圖層 11-2
11.2.2 量測功能 11-4
11.2.3 UAV航線規劃 11-5
11.2.4 UAV斜拍調查影像查詢 11-8
11.2.5 路面破損評分 11-9
11.2.6 堤面胸牆辨識成果 11-9
11.2.7 碼頭面伸縮縫辨識成果 11-10
11.2.8 變電箱狀態辨識成果 11-12
11.2.9 CCTV設施物辨識成果 11-13
11.2.10 氣體偵測異常提示 11-15
11.3 本章小結 11-16
第十二章、實地驗證與品質評估 12-1
12.1 無人機影像品質檢核 12-1
12.1.1 原始影像解析度檢核 12-1
12.1.2 正射影像幾何精度檢核 12-2
12.1.3 數值地形模型高程精度檢核 12-2
12.2 UGV導航路徑正確性檢核 12-3
12.3 標的物件辨識及變遷偵測信賴度評估 12-5
12.4 道路破損評分 12-6
12.4.1 裂縫分級定義 12-6
12.4.2 坑洞分級 12-8
12.4.3 評分方法原理 12-8
12.4.4 路面裂縫評估成果 12-13
12.5 本章小結 12-17
第十三章、教育訓練 13-1
13.1 活動議程 14-1
13.2 活動影像 14-4
13.3活動回饋 14-4
第十四章、結論與建議 13-1
14.1 研究成果 14-1
14.2 後續建議 14-1
14.3 成果效益與後續應用情形 14-1
參考文獻 參考-1
附錄一、期中審查意見處理情形表 附1-1
附錄二、期末審查意見處理情形表 附2-1
附錄三、期末審查簡報資料 附3-1
 
圖目錄
圖 1.1 研究歷程圖 1-5
圖 2.1 多旋翼機安全係數 0.5 飛行面積範圍 2-5
圖 2.2 多旋翼機安全係數 0.7飛行面積範圍 2-5
圖 2.3 定翼機安全係數 0.7 飛行面積範圍 2-6
圖 2.4 MPS可燃氣體感測器輸出氣體分類詳細資訊 2-15
圖 2.5 航行路徑及測區示意圖 2-19
圖 3.1 臺北港GNSS控制點分布圖 3-1
圖 3.2 臺北港GNSS控制點與既有控制點分布圖 3-2
圖 3.3 航帶範圍與控制點分布圖 3-3
圖 3.4 臺北港陸域合併平均潮位高之數值地形模型圖(單位:公尺) 3-4
圖 3.5 臺北港陸域水下地形之數值地形模型圖(單位:公尺) 3-4
圖 3.6 臺北港正射影像圖 3-5
圖 3.7 正射影像解析度展示 3-5
圖 3.8 正射影像解析度展示 3-6
圖 3.9 臺北港氣象站分布圖 3-7
圖 3.10 小綠燈塔站風速資料 3-8
圖 3.11 資料浮標風速資料 3-8
圖 3.12 觀測樁站風速資料 3-9
圖 3.13 八里站風速資料 3-9
圖 3.14 北二碼頭站風速資料 3-9
圖 3.15 FNN架構圖 3-10
圖 3.16 本計畫風速資料訓練架構圖 3-11
圖 3.17 每個月Training loss成果 3-11
圖 3.18 每個月MAE成果 3-11
圖 3.19 FNN風速預估成果圖 3-12
圖 3.20 多旋翼無人機每月可飛行天數占比 3-13
圖 3.21 定翼無人機每月可飛行天數占比 3-14
圖 4.1 RVIZ使用者界面的示意圖 4-1
圖 4.2 GPS軟體操作介面示意圖 4-3
圖 4.3 臺北港港區道路示意圖 4-3
圖 4.4 （a）局部和世界成本地圖（b）成本地圖中的膨脹半徑 4-4
圖 4.5 基於UGV運動模式的DWA Planner路徑選擇的可視化 4-7
圖 4.6 UGV避障參數視覺化 4-8
圖 4.7 避障測試結果圖 4-8
圖 4.8 （a）實驗01（b）實驗02（c）實驗03（d）實驗04 4-10
圖 4.9 (a）紅外線熱像儀測試目標 （b）使用Flir Vue Pro測試物體表面的溫度 4-12
圖 4.10 （a）Flir One Pro （b）FLir Lepton FS 4-13
圖 4.11 Flir Vue Pro 測試結果 4-13
圖 5.1 臺中港岸邊設施自動化辨識分析流程(單張POI影像為例) 5-2
圖 5.2 測試資料模型辨識結果(以臺中港成果為例) 5-3
圖 5.3 臺中港模型套用於臺北港影像上之不同影像分割成果 5-4
圖 5.4 臺北港岸邊設施各物件樣態 5-5
圖 5.5 Yolov8訓練與驗證的模型效能 5-6
圖 5.6臺北港Yolov8模型於驗證資料集上的混淆矩陣 5-6
圖 5.7 臺北港模型岸邊設施自動化辨識分析流程(單張影像為例) 5-7
圖 5.8 POI影像(中間)與鄰近的影像 5-8
圖 5.9 經投影轉換後的左右離近影像 5-8
圖 5.10 將鄰近影像的偵測結果投影至POI影像上 5-8
圖 5.11 (a)單一POI影像的辨識結果、(b)POI影像與鄰近影像合併的辨識結果 5-9
圖 5.12基期影像投影至POI影像 5-10
圖 5.13 與基期比對結果 5-10
圖 5.14 U-net架構(Ronneberger et al., 2015) 5-11
圖 5.15 本地資料集圖片與對應標註 5-11
圖 5.16 U-Net++架構 5-12
圖 5.17 臺北港正射影像，紅框處即為臺北港測試資料位置 5-13
圖 5.18 (a)、 (b)為臺中港資料，(c)、(d)為臺北港資料 5-13
圖 5.19 模型預測流程 5-14
圖 5.20 圖解intersection over union(IoU) 5-15
圖 6.1 112年度岸邊設施模型針對新期影像的偵測結果(P-R曲線) 6-2
圖 6.2 多張岸邊設施物件偵測結果合併同一張來提升辨識準確度 6-3
圖 6.3 112年度岸邊設施影像蒐集之標註與使用情況 6-4
圖 6.4 臺北港新模型的訓練結果 6-5
圖 6.5 臺北港五月份影像訓練的模型與融合多個月份的模型表現 6-5
圖 6.6 臺北港七月份影像訓練的模型表現與融合多個月份的模型表現 6-6
圖 6.7 臺北港五月份影像資料訓練之模型（左）與七月份影像資料訓練之模型（右） 6-6
圖 6.8 臺北港五月份影像(左)與其他月份影像(右)的尺寸差異 6-7
圖 6.9 臺北港十月份資料的預測結果，左為舊模型，右為新模型 6-7
圖 6.10 如何計算物件的實際座標之示意圖 6-8
圖 6.11 物件越遠離影像中心點其座標誤差越大 6-9
圖6.12 岸邊設施的地理定位與巡檢邏輯流程圖 6-10
圖 6.13 113年度新蒐集之變電箱影像 6-11
圖 6.14 112年度變電箱影像 6-11
圖 6.15 YOLOv8物件辨識(變電箱)架構圖(Aboah et al 2023) 6-12
圖 6.16 變電箱模型訓練成果圖 6-14
圖 6.17 變電箱實際成果驗證 6-15
圖 6.18 胸牆法線預測及地理定位流程圖 6-16
圖 6.19 港區資料集分布圖 6-16
圖 6.20 A區胸牆訓練影像 6-17
圖 6.21 訓練樣本標記示意(堤面胸牆為紫色部分) 6-17
圖 6.22 標記類別數量統計直方圖 6-18
圖 6.23 法線側模型訓練過程 6-19
圖 6.24 胸牆法線、伸縮縫、裂縫之正規化混淆矩陣圖 6-19
圖 6.25 胸牆法線遮罩進行霍夫直線預測影像(左)胸牆法線預測遮罩(右)霍夫直線預測 6-20
圖 6.26 20240529資料集偵測影像 6-21
圖 6.27 胸牆在平台上POI及樣態呈現 6-21
圖 6.28 平台上影像呈現流程 6-22
圖 6.29 預測成果分類 6-22
圖 6.30 伸縮縫預測及地理定位流程圖 6-23
圖 6.31 A區道路伸縮縫圖 6-23
圖 6.32 各區域伸縮縫影像(左上)(右上)(左下)A區伸縮縫影像(左下)D區伸縮縫影像 6-24
圖 6.33 伸縮縫標註樣態展示 6-25
圖 6.34 標記類別數量統計直方圖 6-25
圖 6.35 無人機影像對應正射底圖 6-26
圖 6.36 正射底圖(左)A區(右)F區 6-26
圖 6.37 SIFT匹配無人機影像和正射影像特徵點圖(左)無人機拍攝影像(右)正射底圖對應位置之切片 6-29
圖 6.38 SIFT匹配異常影像 6-29
圖 6.39 預測成果展示圖(左)20240708資料集(中)20240529資料集(右)20240829資料集 6-30
圖 6.40 20240529 正確檢測影像(POI:26) 6-31
圖 6.41 伸縮縫交點預測異常影像，黑色圈圈為交點 6-31
圖 6.42 伸縮縫在平台上POI及樣態呈現 6-32
圖 6.43 平台上影像呈現流程 6-33
圖 6.44 臺北港正射影像，紅框處即為臺北港測試資料位置 6-34
圖 6.45 臺北港坑洞資料，上為影像下為標註 6-34
圖 6.46 臺中港坑洞資料，上為影像下為標註 6-35
圖 6.47 U-Net++架構 6-36
圖 6.48 圖解intersection over union(IoU) 6-38
圖 6.49 坑洞模型之學習曲線 6-38
圖 6.50 坑洞模型預測成果 6-39
圖 6.51 坑洞測試區域(A1道路)，(a)測試位置(紅框)，(b)測試影像 6-39
圖 6.52 坑洞模型預測成果驗證 6-40
圖 6.53 PGI結構圖 6-41
圖 6.54 GELAN結構圖 6-41
圖 6.55 臺北港堤面影像 6-42
圖 6.56 intersection over union (IoU) 的公式 6-43
圖 6.57 鋼筋裸露偵測模型各項指標訓練圖 6-44
圖 6.58 Precision-Recall曲線圖 6-44
圖 6.59 鋼筋裸露偵測結果 6-45
圖 6.60 U-Net++結構 6-45
圖 6.61 (a)為航攝的影像，(b)為標註的影像，黑色的部分是背景，紅色的部分是裂縫，黃色的部分則是伸縮縫 6-46
圖 6.62 臺北港港口影像 6-47
圖 6.63 裂縫偵測的訓練情形(Crack為裂縫、Expand為伸縮縫) 6-48
圖 6.64 (a)為台北港港口影像，(b)為偵測的影像，黑色的部分是背景，紅色的部分是裂縫，黃色的部分則是伸縮縫 6-49
圖7.1 四個CCTV場域的分布位置（綠點），分布在東4與東5碼頭之間 7-3
圖7.2 CCTV的模型訓練過程，橫軸為epochs次數，縱軸為mAP@0.5 7-4
圖7.3 CCTV的模型在驗證資料集上的混淆矩陣 7-4
圖7.4 不同CCTV視角的偵測結果 7-5
圖 8.1 CityGML建物模型細緻度等級(LOD)示意圖(Biljeckietal,2016) 8-1
圖 8.2 臺北港LOD2之模型 8-2
圖 8.3 屋頂結構圖 8-3
圖 8.4 利用canny偵測邊緣 8-3
圖 8.5 臺北港各月接收日射量成果 8-6
圖 8.6 臺北港全年推估系統發電量(單位：度) 8-7
圖 9.1 無人機影像傳輸通訊技術架構 9-1
圖 9.2 無人機影像傳輸通訊技術協議設定 9-3
圖 9.3 去年度通訊方法與本期引進靜態ip通訊方法比較 9-4
圖 10.1 影像串流界接功能示意圖 10-1
圖 10.2 現場筆電串流指令介面 10-2
圖 10.3 可能出現的轉播錯誤問題 10-3
圖 10.4 臺大總圖書館無人機拍攝影像串流畫面 10-4
圖 10.5 收集之感測器資料和數據串流流程圖 10-5
圖 11.1 系統功能架構圖 11-2
圖 11.2 國土測繪中心正射影像 11-2
圖 11.3 團隊拍攝製作的正射影像 11-3
圖 11.4 團隊拍攝製作的數值地形模型 11-3
圖 11.5 內政部提供的建物3D模型 11-4
圖 11.6 距離量測功能 11-5
圖 11.7 面積量測功能 11-5
圖 11.8 航線規劃成果(單點環行(左)、多點巡航(中)、地形測繪(右)) 11-6
圖 11.9 飛行路徑規劃功能 11-6
圖 11.10 飛行點位圈繪及規劃參數輸入 11-7
圖 11.11 規劃提示視窗 11-7
圖 11.12 規劃成果列表 11-7
圖 11.13 巡檢影像查看頁面 11-8
圖 11.14 AI辨識成果查看 11-8
圖 11.15 路面PCI成果 11-9
圖 11.16 堤面胸牆POI點位分布情形……………………………....11-9
圖 11.17 堤面18號POI點6月份之辨識成果 11-10
圖 11.18 堤面18號POI點7月份之辨識成果 11-10
圖 11.19 碼頭面POI點位分布情形 11-11
圖 11.20 碼頭面A1區31號POI點5月份之辨識成果 11-11
圖 11.21 碼頭面A1區31號POI點9月份之辨識成果 11-12
圖 11.22 變電箱POI點位分布情形 11-12
圖 11.23 變電箱2號POI五月之熱影像 11-13
圖 11.24 變電箱2號POI九月之熱影像 11-13
圖 11.25 CCTV POI分布情形 11-14
圖 11.26 CCTV POI 東五碼頭作業區影片 11-14
圖 11.27 影片全螢幕檢視畫面 11-15
圖 11.28 氣體偵測POI點位分布情形 11-15
圖 11.29 氣體偵測1號POI 5月之成果 11-16
圖 11.30 氣體偵測1號POI 9月之成果 11-16
圖 12.1 原始UAV航拍影像 12-1
圖 12.2 檢核點坐標分布圖 12-3
圖 12.3 （a）地面機器人路徑正確性檢核實驗地點 （b）地面機器人路徑記錄在RVIZ顯示 12-4
圖 12.4 不同拍攝角度變電箱偵測成果 12-6
圖 12.5 路面裂縫模型預測結果 12-6
圖 12.6 輕級裂縫 12-7
圖 12.7 中級裂縫 12-7
圖 12.8 重級裂縫 12-8
圖 12.9 圖解骨架正交法 12-9
圖 12.10圖解骨幹化 12-10
圖 12.11 骨架化成果(紅色為放大的裂縫，綠色為骨架) 12-10
圖 12.12 裂縫預測及定位之流程圖 12-13
圖 12.13 航攝影像的資訊以及正射影像之間的關係 12-14
圖 12.14 SIFT檢測的成果 12-14
圖 12.15 (a)正射影像原圖 (b)路面分段圖 (c)放大檢視 12-15
圖 12.16 分段評分結果 12-15
圖 12.17 道路裂縫，坑洞及伸縮縫預測成果 12-16
圖 12.18 PCI檢測成果 12-16
圖 12.19 A1道路路面狀況(PCI)分級 12-17
圖 13.1 活動剪影 13-2

表目錄
表 1 1 112年計畫甘特圖 1-8
表 1 2 113年度計畫進度甘特圖 1-10
表 2 1 多旋翼機載具規格表 2-2
表 2 2 定翼機載具規格表 2-3
表 2 3 多旋翼 UAV 飛行總里程(總距離)範例計算 2-4
表 2 4 多旋翼 UAV 不同安全係數最遠飛行距離計算(折返) 2-4
表 2 5 多旋翼 UAV 飛行總里程(總距離)範例計算 2-6
表 2 6 定翼機 UAV 飛行總里程範例計算 2-6
表 2 7 光學相機 2-8
表 2 8 感應相機 2-8
表 2 9 光達感測器 2-9
表 2 10 Robomaster和Jackal UGV規格比較 2-10
表 2 11 Robomaster和Jackal UGV安全係數比較 2-11
表 2 12 光達感測器規格 2-12
表 2 13 攝影機規格 2-13
表 2 14 氣體感測器規格 2-14
表 2 15 有毒及易燃氣體感測器 2-15
表 2 16 熱感相機 2-16
表 2 17 無人遙控載具機型 2-18
表 2 18 ROV航行里程計算(混合型) 2-19
表 2 19 適用水下光學相機規格表 2-20
表 2 20 水下定位模組比較 2-20
表 3 1 臺北港GNSS控制點觀測成果表 3-2
表 3 2 影像資料蒐集基本資料表 3-3
表 3 3 蒲氏風力級數與無人機最大抗風條件表 3-6
表 3 4 多旋翼無人機每月可飛行天數占比 3-13
表 3 5 定翼無人機每月可飛行天數占比 3-14
表 4 1 測試之GPS種類 4-2
表 4 2 地圖建構方法比較 4-9
表4 3 有毒及易燃氣體感測器實驗設置 4-11
表 4 4 有毒及易燃氣體感測器實驗結果 4-11
表 4 5 紅外線熱像儀實驗結果 4-12
表 5 1 過去已辨識之標的物 5-1
表 5 2 岸邊設施Mask R-CNN辨識模型統計於驗證資料集之效能 5-2
表 5 3 測試資料模型辨識結果統計(以臺中港成果為例) 5-3
表 5 4舊模型的訓練細節 5-12
表 5 5 新模型的訓練細節 5-14
表 5 6 模型表現 5-15
表 6 1 現有及新增標的物辨識內容綜整表 6-1
表 6 2 變電箱模型訓練參數表 6-13
表 6 3 變電箱型訓練成果表 6-14
表 6 4 坑洞模型訓練細節 6-36
表 6 5 坑洞模型測試成果 6-38
表 6 6 模型訓練細節 6-47
表 8 1 CityGML對於LOD之建議規定彙整表 8-2
表 8 2 臺北港全區推估發電量 8-7
表 10 1 直播程式串流指令 10-1
表 12 1 斑馬線影像尺寸檢核表 12-2
表 12 2 DSM誤差精度統計表 12-3
表 12 3 坑洞分級標準 12-8
表 12 4 鋪面折減值計算 12-11
表 12 5 鋪面CDV計算 12-12
表 12 6 PCI等級對照表 12-12

港區影像智慧辨識技術之研究(2/3)-空間資料環境分析及優化影像檢監測應用技術
目錄
中文摘要 I
英文摘要 II
目錄 III
圖目錄 XI
表目錄 XXI
第一章、前言 1-1
1.1 研究動機與目的 1-1
1.1.1 研究動機 1-1
1.1.2 研究目的 1-1
1.2 文獻回顧 1-2
1.2.1 傳統巡檢 1-2
1.2.2 無人載具發展與應用(空中、地面、水下) 1-3
1.2.3 影像技術發展與應用難度 1-4
1.3 歷年計畫成果回顧 1-4
1.3.1 臺中港(110~111年) 1-6
1.3.2 臺北港(112年) 1-7
1.3.3 臺北港(113年) 1-8
第二章、無人載具以及感測器硬體系統分析 2-1
2.1 空中無人載具 2-1
2.1.1 載具...