感知融合技術於自駕車之應用

技術探索

感知融合技術於自駕車之應用

2019-09-16

工研院資通所高得欽梁珮蓉陳澤民陳柏宇

隨著AI技術的突破，讓電腦視覺為核心的感知融合技術（Sensor Fusion），從先進駕駛輔助系統（ADAS）的角色快速升級，成為全球車廠發展的焦點。在不同自駕程度的需求下，需將不同的感測器安裝在自駕車上，如圖1所示，攝影機、雷達、光達、超音波等感測器，皆各有其特色，也有其盲點。如何截長補短讓每個感測器發揮自己的長處，並透過「感知融合」這項技術將來自不同感測的資料進行處理，有效地生成取代人眼的視覺感知訊息，仍然是個挑戰。工研院資通所從各種感測器的資料特性出發，並已將其運用在自駕車的感知融合運算平台上。

工研院自駕車基於多任務分配技術，已經開發7種以上不同偵測標的之深度學習模型，並結合多重感測融合技術，包含異質感測器原始資料層級融合與物件偵測決策融合，可增加各個感測器的感測精度，並透過分析車輛周遭路況、當下天候條件與偵測結果如氣候狀態、光源亮度分布、物件位置、物件型態等，以增加整體系統辨識的準確率與可靠度，進而建立適應於亞洲人車混流等特殊行車環境之辨識技術，搭載集中式或分散式自駕車感知運算平台，支援車輛之自動駕駛能力。

圖1 自駕車徹底剖析（圖片來源：CBINSIGHTS）

精彩內容

1. 感測器在車用市場的發展
2. 異質感測融合技術剖析
3. 深度學習與感測融合之整合開發技術
4. 自駕車訓練資料生成技術強化自動駕駛辨識能力

感測器在車用市場的發展

目前於自動駕駛車市場的應用，大多包含影像感測器、毫米波雷達與光達感測器，然而各種異質感測器各有優劣，如表1所示，結合各種感測器，開發適應於各種天候與行車環境的感知次系統，將是各大廠努力的目標與方向。

表1 感測器優缺點比較

感測器	優點	缺點
毫米波雷達	不易受到氣候影響，適用於長距離偵測。	物體辨識及追蹤不易。
光達	測量距離長且精準，測距精準度達公釐等級。	易受大雨、下雪、濃霧等氣候影響，其售價昂貴。
影像感測器	高解析度（密度）影像畫素資訊，提供最完整的路況資訊。	影像處理技術需完全模擬人類視覺，受天候與光影等因素影響影像品質。

以國際知名大廠Mobileye為例，其主力產品為Vision-based 車用感測解決方案，在全球高級駕駛輔助和防撞系統市場的市占率達70％以上。Mobileye提供先進駕駛輔助系統軟體與晶片解決方案（ADAS Software and Chip Solution），在硬體方面，發展EyeQ系列之系統單晶片（SoC），提供執行自家軟體演算法之能力；於軟體方面，發展支援被動式與主動式ADAS能力之軟體演算法，而演算法方面主要為電腦視覺並針對自家晶片進行整合改良，為多功能模組，包含自動緊急剎車（AEB）、車道偏離警示系統（LDW）、碰撞預防系統（FCW）、車道保持系統（LKA）、塞車輔助（TJA）、交通標誌識別（TSR）、交通燈號識別（TLR）、智能遠光燈控制（IHC）等，堪稱以攝影機作為感測器的代表。依據該公司公開的里程碑，2017年將完成環周物件與道路偵測能力，以支援L3 （Eyes off）自駕能力，而2020將達到適用於各種天候的多重感知能力，以支援L4 （Mind off）自駕能力。除國際大廠Mobileye之外，國內車用影像感測器相關業者包含昇銳電子、合盈光電、光寶等，亦有開發多種智慧型攝影機模組。

異質感測融合技術剖析

如同上段所述，自動駕駛車必須有解析度高且抗天候強的感知單元，然而，目前尚未有此種感測器問世，因此異質感測器融合是必要且迫切的。基本上，融合模式可分為三大類，如圖2所示。第一類為互補式融合技術（Complementary Fusion Mode），此模式下，異質感測器的偵測辨識區域不重疊，譬如一個向前看的毫米波雷達與一個向後看的毫米波雷達，各自負責不同的感測區域，可增加系統整體感測範圍; 第二類為競爭式融合技術（Competitive Fusion Mode），其異質感測器的偵測辨識範圍是相同的，以利增加整體系統偵測辨識的可靠度，或是相異感測器對於待感測標的物能夠提供相同或不同的物理量描述，如物件距離與類別等，可增加待感測標的物理量描述的精確度與完整性; 而第三類為合作式融合技術（Cooperative Fusion Mode），其異質感測器的偵測辨識範圍依然是重疊，且相異感測器對於待感測標的能夠提供相同或不同的物理量描述，但是，某一種感測器要完成偵測辨識的功能，除了靠自我能夠提供資訊外，尚須參考另一感測器所提供的資訊才能達成，其可加速偵測辨識的速度與正確性。

圖2 異質感測融合模式

異質感測融合之基本架構如圖3所示，首先於合作式融合模式（Cooperative Mode），感測器之間須互相資料傳遞，才能完成偵測辨識能力，於原始資料層級完成融合。早期考慮多種資訊，協助各種感測器增加雜訊抑制能力，進而提升各別感測器偵測辨識準確率與速度。因為相異的感測器可能有相同偵測辨識範圍，當各個感測器分別偵測辨識物件後，其可能存在偵測結果有衝突情況，因此必須透過競爭決策融合（Complementary/Competitive Mode），選擇一個可靠度最佳的資訊給予決策與控制單元，否則衝突的結果，將無法進行決策與控制，同時也可提升整體系統偵測辨識的可靠度。最後為資料融合層（Data Fusion），可結合如慣性感測器（IMU）、全球定位系統（GPS）與車聯網（V2X）等非偵測辨識感測器，結合不同的感測器物理量描述，並針對多個相同物理量進行最優估計（Optimal Estimation），如卡爾曼濾波（Kalman Filter），增加感測標的描述的精確度與完整性。

圖3 異質感測融合之基本架構

合作式融合技術亦可稱為特徵融合（Early Fusion），而互補式與競爭式融合技術亦可稱為平均值融合（Late Fusion），目前傳感器融合（Sensor Fusion）主要亦以此為主。近期已有研究單位與業者著手開發Early Fusion，如Mentor Graphics開發DRS360的自動駕駛集成嵌入式平台，即時進行集中原始數據融合／深度融合；而AEye開發iDAR（Intelligent Detection and Ranging）傳感器，將LiDAR與低照度的Camera進行深度融合，可即時感知周邊的動態環境。另外，速騰聚創（Robosense）於CES 2018展示Lidar-Camera-Deep-Fusion技術，減少各個感測器資料傳輸的延遲，並提供更多資訊給予各個感測器之數位訊號處理，加強去除雜訊的能力之外，更促使各個感測器變得更聰明，具備更準確的物件偵測辨識能力，提升整體環境感知次系統的能力。

深度學習與感測融合之整合開發技術

自動駕駛對應行車環境之不可預測因素太多，包含人為、天候與道路型態等因素。如各種自駕車面對光照條件下的嚴苛挑戰，會因不同天氣條件下的快速道路、高速公路、開放道路、隧道進出口等適應性光照條件下而有差異性，必須以高可靠度之環境感知能力幫助人類駕車等。就技術發展而言，深度學習與感測融合之整合開發，將有助於自動駕駛辨識能力。其深度學習與感測融合開發主要特色如下：

1. 影像前處理：提升影像品質，並對於深度學習訓練資料庫中未包含之案例，可強化其偵測辨識準確率，例如即時將大雨環境之影像模糊化程度，降低為小雨的模糊化程度。
2. 異質感測器原始資料融合：建立高解析度環境模型，其可提升訊號處理之抑制雜訊能力於各個感測器，可加速偵測辨識速度與提升偵測準確率。
3. 深度學習架構優化：透過動態提取感興趣區域（Region of Interest）資訊，並使用追蹤與光達／雷達偵測結果，強化感興趣區域可靠度，減少卷積（Convolution）運算量，加速深度學習偵測辨識過程。
4. 異質感測器決策融合：依據當下環境條件，計算各個感測器偵測辨識信心指數，進而決策最終的偵測辨識輸出結果，可提高系統準確性與可靠度。
5. 事件推斷：預測可能的危險事件，系統將可在發生危險之前，預執行防範動作。
6. 邊角案例資料庫：補足實車蒐集資料的不足，提升深度學習完整度。

將深度學習與感測融合之整合開發技術以方塊圖表示，如圖4所示，其負責之偵測與辨識功能如表2所列。

圖4 深度學習與感測融合引擎之方塊圖

表2 偵測與辨識功能列表

Detection/Recognition Capability
OpenRoadNet	可行駛區域偵測辨識。
Stereo-SignNet	立體交通標誌偵測，包含位置與標誌內容語意偵測辨識。
Ground-SignNet	地面交通標誌偵測，包含位置與標誌內容語意偵測辨識。
LightNet	紅綠燈偵測，包含位置與狀態偵測辨識。
V-DriveNet	四輪車輛偵測，包含方向燈號、煞車燈、卡車、轎車等細分類偵測辨識。
BP-DriveNet	兩輪車輛偵測，包含方向燈號、煞車燈、卡車、轎車等細分類偵測辨識。
LaneNet	當前車道與鄰近車道偵測辨識，包含車道合併或拆分線、車道線類別與顏色偵測辨識。

自駕車訓練資料生成技術強化自動駕駛辨識能力

工研院自駕車計畫結合電腦視覺、深度學習與感測融合技術，積極建構可靠度高且適應於各種天候與行車環境之行車環境感知運算平台，然而完整的訓練資料庫將是自動駕駛深度學習的主要關鍵之一，在建立訓練資料庫時會存在「真實危險事件場景難以收集」的問題，工研院正在積極開發自駕車訓練資料生成技術（Training Data Generation）來有效解決訓練資料庫完整性的問題，而方法主要有兩種，分別為「高品質的合成場景（High Quality Synthetic Scene）」與「擴增式的真實場景（Real Scene Augmented with Synthetic Car）」，第一種方法可建立真實世界立體模型，透過遊戲引擎開發特殊危險事件的高真實性場景，包含光影與天候等，將可建立各式各樣的測試資料；第二種方法將基於車輛本身所視真實畫面，透過虛擬物件合成於影像串流中，將可補足既有真實影片中所缺乏的測試案例，期待利用更完整的訓練資料來幫助深度學習演算法，提高準確率，進一步協助感測融合作出正確的判斷，增加未來自駕車的可靠度與安全性。