工業技術研究院 資訊與通訊研究所 曾蕙如 吳依玲 詹智翔 李裕豐 姚凱齡
現今即時影像深度學習物件偵測技術，其精準度與運算速度已有非常良好的表現。
前言
工研院發展環周感知次系統，搭載實車系統於實路場域驗證，基於無人載具科技創新實驗條例，推動新竹縣高鐵自駕接駁運行實驗計畫，淬錬與調適系統於開放路口與邊角案例、智慧防撞等自駕智慧程度，完善車路雲解決方案。本文將針對新竹縣高鐵自駕接駁運行實驗計畫，說明運行規劃、測試載具、測試規格，以及階段性測試成果，並深入介紹即時影像與光達深度學習物件偵測技術、感知融合技術、事件推理技術，以及自動化測試技術，希冀讓讀者更進一步了解此實驗計畫技術發展與挑戰。
精彩內容
1. 即時影像深度學習物件偵測技術
2. 光達深度學習物件偵測技術
3. 感知融合技術
4. 事件推理技術
5. 自動化測試技術 |
無人載具科技創新實驗計畫
台灣交通環境人車混流、車種多元、車流密度高，相較於歐美等地更為複雜，也成為我國資通訊、車用電子等自駕車產業鏈與營運服務發展的競爭優勢。經濟部自2019年推動「無人載具科技創新實驗計畫」，鼓勵無人載具科技、服務及營運模式之創新實驗，截至2023年8月底已促成17案上路實驗，包括自駕車15案：彰濱工業區（2案）、台北信義路、新北淡海（2案）、桃園青埔（2案）、桃園機場、台南沙崙／科學園區／台積電（3案）、台中水湳／台61線（2案）、新竹高鐵站（接駁服務） 、新竹市區（物流），以及高雄愛河自駕船（2案），如圖1所示。
圖1 無人載具科技創新實驗計畫總覽（自駕車）
自2010年起，工研院與新竹縣政府、科技之星、車王電子及銓鼎科技聯手推動新竹縣高鐵自駕接駁運行實驗計畫，針對無人載具科技（Proof of Concept, POC）與服務（Proof of Service, POS）進行驗證測試，此計畫在汽機車混合車流之繁忙市中心道路進行測試，並搭載工研院研發之車聯網（Cellular Vehicle-to-Everything, C-V2X）技術，整合路側通訊、感測器與交通號誌等資訊，減少自駕車偵測盲點，提升自駕運行安全，此技術更曾榮獲2019年智慧運輸系統世界大會（ITS World Congress）產業成就獎與美國愛迪生（Edison Awards）銀牌獎。
聯網自駕巴士場域運行
新竹縣高鐵自駕接駁運行實驗計畫全程由高鐵新竹站往返莊敬北路站（國際AI智慧園區），如圖2所示，第一年自駕路線由高鐵新竹站往返自強七街（喜來登飯店），行駛光明六路、高鐵七路、文興路及嘉豐五路，路線全程5.3公里；第二年自駕路線由高鐵新竹站往返莊敬北路站（國際AI智慧園區），路線全程8.1公里。
圖2 新竹縣高鐵自駕接駁運行實驗計畫自駕路線
新竹縣高鐵自駕接駁運行實驗主要分為三階段進行，如圖3所示，分別為沙盒實驗準備期、POC階段，以及POS階段。準備期主要以教育訓練、基礎建設及交管配置安排為主，POC階段主要為自駕車系統概念可行性驗證，包括一般道路情境測試、交通管制措施，以及自駕系統學習與校調；POS階段主要包括自駕車營運可行性試驗，提供載客服務。
圖3 新竹縣高鐵自駕接駁運行實驗計畫期程
本計畫共計四部自駕巴士投入驗證測試（如圖4所示），每部自駕巴士搭載八顆相機與三顆光學雷達感測器，分別配置於車頭、車側以及車體後方，如圖5所示，為提供自動駕駛控制系統於道路上穩定轉向、障礙物繞行與煞停等功能，工研院所發展環周感知次系統，整合光達、雷達、攝影機、衛星定位、慣性導航、C-V2X等感測與通訊元件，具備深度學習影像辨識、多重感知融合、即時事件推理等關鍵核心技術，並針對台灣與亞洲特殊道路環境進行設計（如複雜號誌路口、汽機車混流、大雨），有效偵測道路物件，大幅擴增車輛環周感測區域，其環周感知次系統模組架構如圖6所示。
圖4 新竹縣高鐵自駕接駁運行實驗計畫測試載具
圖5 工研院聯網自駕巴士
圖6 環周感知次系統模組
團隊針對各階段自駕功能技術規格進行研擬，包括定速巡航（cruise control）、車道維持（lane keeping control）、自適應性巡航（adaptive cruise control）、緊急煞車（emergency brake control）、預警式煞車（preventive brake control）、繞越障礙物（obstacle overtaking control）、變換車道（lane changing control）、路口通行（intersection passing control）、號誌遵守（traffic light waiting control）、精準站點停靠（precision docking control），以及左右轉控制（left/right turn control）等，如圖7所示。
圖7 新竹縣高鐵自駕接駁運行實驗計畫測試規格
目前已完成新竹高鐵往返國際AI智慧園區日夜間自駕POC測試（時速最高可達30km/h），如圖8與圖9，同時亦針對特殊情境的精準度進行優化，包括加強不同天氣場景資料蒐集與訓練，以改善夜間場景和雨天場景，因應道路上各式光源變化與雨滴導致辨識不穩定的情形，此外亦進行偵測模型架構調整，擴增三角錐物件類別偵測，供自駕車遇道路工程施工時，安全地繞越行駛，以下將詳細說明相關核心技術。
圖8 新竹縣高鐵自駕接駁運行實驗計畫-自駕巴士日間測試運行
圖9 新竹縣高鐵自駕接駁運行實驗計畫-自駕巴士夜間測試運行
即時影像深度學習物件偵測技術
聯網自駕巴士技術於新竹縣高鐵場域運行與實證，面對複雜的道路場景與高密度的人車流，搭載即時且高精準度之障礙物偵測技術，以利自駕巴士控制系統即時的決策控制，達到測試驗證需求。為有效偵測自駕巴士環周障礙物，系統搭載八顆車用相機感測器，提供日夜間、雨天等情境的障礙物偵測。相機感測器提供高解析度與色彩豐富的物件資訊，透過成熟的即時影像深度學習物件偵測技術，能有效偵測遠方小物件，精準辨識物件類別，提供二維空間物件座標資訊。
現今即時影像深度學習物件偵測技術針對精準度與運算速度已有非常良好的表現，但於單一硬體平台同時運作多重即時影像物件偵測模型時，系統長時間負載量過大，可能導致行車上路的不穩定性。因此本系統（如圖10所示）優化多重即時影像深度學習物件偵測技術，並提供有效定位物件之二維座標，精準辨別道路上物件，如行人、汽車、卡車、巴士、機車與腳踏車等類別資訊，亦進行偵測模型架構調整，擴增三角錐物件類別偵測，供自駕車遇道路工程施工時，安全地繞越行駛，如圖11所示。本技術進一步結合物件追蹤技術，優化運算效能，降低系統負載量，提供連續且穩定之物件感測資訊，有效提升感測知融合技術、車輛控制技術之行車安全性。
圖10 即時影像二維物件偵測圖，藍框表示偵測到車、紅框表示偵測到人、綠色框表示偵測到機車。
圖11 即時影像偵測三角錐情境，黃框表示偵測到三角錐。
光達深度學習物件偵測技術
光達深度學習物件偵測技術使用多顆光學雷達的點雲資料作為輸入，深度學習模型初步先產生關注範圍內（Region of Interest, ROI）的二維像素區域，以俯瞰形式將資料點歸類於特定二維像素容器內，針對每個二維像素容器內點雲資料進行特徵萃取，如點雲密度、平均三維中心點與平均位移變異數等，作為訓練特徵產出生成俯瞰視角的二維偽影像進行二維卷積的深度學習訓練，後續產出目標為行人、二輪車、四輪車及背景物件分類，並依特徵回推實際物體的三維位置與邊界框，產出特徵含中心點、三維長度與物件方向，整體成效如圖12所示。
圖12 二維與三維物件偵測圖。下方小圖為相機二維影像，內有藍框表示偵測到車、紅框表示偵測到人。上方大圖為光達之三維空間影像，綠框表示偵測到車或人。
結合即時影像與光學雷達之物件偵測技術，除了能發揮即時影像物件偵測的長處，供影像相關演算法應用，也能透過光學雷達使得三維空間物件框選取更貼合、定位更精準，提升自動駕駛車輛行駛之可靠性。
感知融合技術
相機感測器提供高解析度與色彩豐富的物件資訊，能有效偵測遠方小物件，精準辨識物件類別，在各項領域廣泛應用，但大多數相機未提供三維深度資訊，需結合其他深度感測器，限縮了即時影像偵測技術於自駕車領域之可用性。近年自動駕駛技術採用光學雷達感測器，雖相較於相機感測器，物件解析度較低，僅能偵測中短距離物體且類別辨識精準度較低，但能穩定偵測環周物件原始資料於三維空間位置，較不受光影等天氣狀況所影響，因此如何有效整合相機與光學雷達之特性，為近年自動駕駛感知技術研發之一大挑戰。 聯網自駕巴士搭載多顆相機與光學雷達感測器，採用Late-fusion方法融合多感測器物件偵測資訊，提供自動駕駛控制系統於道路上穩定轉向、障礙物繞行與煞停等功能所需之障礙物感測資訊，主要作法是取得同步時間之光學雷達與即時影像輸出，並透過即時影像與光學雷達坐標系投影轉換矩陣，將光學雷達資訊投影至相機坐標系，經過交集聯集比（Intersection over Union, IoU）找出對應之物件，基於融合決策機制篩選出最終目標物件框資訊，其中相機與光學雷達坐標系投影轉換矩陣資訊是由相機校正與三維座標系投影技術提供，透過校正板進行多感測器的資料蒐集，提供參考點計算影像與光學雷達對應產生投影轉換矩陣，經由即時投影轉換工具將光學雷達物件投影至影像上，即可提供後續融合決策演算法進行運算，最終感知融合輸出如圖13。本技術能有效偵測道路物件，提供精準的行人、車輛物件識別，以及物件大小與座標定位資訊，並大幅擴增車輛環周感測區域，提升自動駕駛車輛行駛之可靠性。
圖13 二維與三維物件偵測圖。左方側格小圖為相機二維影像，內有藍框表示偵測到車、紅框表示偵測到人。右側大圖為三維空間影像，藍框表示偵測到車或人。
事件推理技術
事件推理技術主要基於感知融合軟硬體及與深度學習影像辨識的結果，進行即時預測物件動態道路事件之推理，並可透過預測行人是否穿越道路的意圖，在行人運動行為發生變化前提早反應，產生更為緩和且接近一般駕駛的減速行為。主要作法是由預測模組產生鄰近車輛是否切入自駕車車道或行人穿越意圖之機率，並配合三維物件偵測提供的位置與速度資訊，同時導入行車方向、車身與車道中線／分隔線距離，大幅提升物件變換車道時預測機率，進而提早自駕預警減速的時間點，藉此優化剎車控制，如圖14所示。
圖14 事件推理技術
圖15是新竹縣高鐵場域實際利用路徑預測處理「機車切入自駕車車道」，當預測機車若有較高機率切入自駕車車道，自駕巴士將進行預警式減速控制，當預測機車切入自駕車車道機率低，自駕巴士將自動濾除避免減速控制。
圖15 自駕巴士實際測試結果-預測機車切入與並行
自動化測試技術
為加速自駕巴士上路運行測試，團隊發展自動化測試技術，包括自動化場域邊角案例收集、自動化議題管理、自動化事件統計與還原、自動化MISRA-C檢測、自動化CI／CD（Continuous Integration／Continuous Deployment）迴歸測試，提供全方位實車軟硬體系統與功能驗證測試。
圖16 自動化測試技術
圖16為自動化測試技術架構圖，使用 GitLab 儲存程式碼、JIRA進行議題追蹤、 BuildBot負責排程與執行測試，當有提出合併請求等事件觸發或是測試結果產生，將透過電子郵件通知相關負責人，並使用虛擬化技術，讓單一主機負責多個獨立的服務區塊，讓整體測試環境的建置成本最小化，同時為支援自駕系統長時間運作穩定性與安全性，自駕巴士運行前與運行過程中，皆運用失效安全（（Fail-safe））機制全面性檢測全車軟硬體模組，依嚴重程度分為FATAL、ERROR與WARN，實體介面設計如圖17所示。自駕啟動前將確認自駕系統運作正常，才允許啟動自駕模式；自駕過程中即時監控系統狀況，失效時通知隨車人員，並採取必要的處理（如自動停止車輛與自駕系統），檢測模組亦會將相關的資訊透過網路送回監控平台記錄，以便後續進行異常統計與分析。
圖17 失效安全機制介面
結論
工研院發展環周感知次系統，具備即時影像與光達深度學習物件偵測、多重感知融合、即時事件推理、自動化測試等關鍵核心技術，讓自駕感知與決策控制更加精確。新竹縣高鐵自駕接駁運行實驗計畫已完成新竹高鐵往返國際AI智慧園區日夜間自駕POC測試，包括定速巡航、車道維持、自適應性巡航、緊急煞車、預警式煞車、繞越路邊臨停車輛、車道變換、路口通行、左／右轉、號誌遵守，以及站點停靠，將持續於第二年計畫朝著提供安全、安心、便利的大眾運輸服務的目標邁進。未來多重感測結合路側資訊如何快速因應實際場域需求，同時兼顧自駕安全及乘客舒適度，將成為下世代自動駕駛技術發展之關鍵挑戰。
