異質感測融合環境感知次系統技術簡介
工研院異質感知融合次系統能即時拍攝車輛周遭影像並傳送至嵌入式平台，快速提供後端車輛決策所需環境感知資訊。系統中重點功能包括深度融合，在影像原始資料層級即早採用深度資訊，可增加各感測器感測精度；特徵融合，包括車道線偵測(含直線/彎線/斑馬線/停止線/緩速線等)與各感測器的物件ROI proposal，可移除不必要之雜訊，有效提升後續計算的精確度與速度；動態物件偵測與追蹤(含行人/兩輪車/四輪車)，可結合雷達及光達的偵測結果，透過分析車輛周遭路況、當下天候條件與偵測結果如氣候狀態、光源亮度分布、物件位置、物件型態等，進行決策融合以增加整體系統辨識的準確率與可靠度；透過異質感測器對感測物件提供多種物理量描述，進行資訊融合以增加感測物件的描述精確性與完整性。本系統執行速度快，亦具備高準確率、低誤判率、高系統穩定度與高環境適應性等特性，適用於影像處理、嵌入式系統應用和車輛安全與環境感知等領域。
技術特色
- 支援多種異質感測器，包含影像感測器、毫米波雷達、光達、GNSS等
- 支援多種模式的融合技術，如原始資料融合、特徵融合、決策融合以及資訊融合技術
- 與不同的道路型態與天候條件下，可保有低運算複雜度與高偵測辨識率
技術規格
異質感測融合環境感知次系統軟體技術支援如下：
- Rule-based影像式多功能先進駕駛輔助系統解決方案：
車道偏移警告系統(LDWS)
前方碰撞預警系統(FCWS)
盲點警告系統(BSWS)
環景監測系統(AVMS)
四通道數位行車紀錄器(4Chs DVR)
四通道數位行車紀錄器(4Chs DVR)
Schematic Board File BSP Design
Linux Quick Boot影像前處理技術：包含低照度影像
- 影像前處理技術：包含低照度影像強化/去雨影像強化/除霧影像強化
- 像與雷達/光達原始資料融合技術：
影像梯形校正工具
影像/光達縫合工具
時間與空間對位工具
HR光達資料/RGBD資料建立
- 即時Flexible DCNN 物件偵測辨識技術：
靜態物件辨識(直線道路/彎線道路/斑馬線/停止線/緩速線/紅綠燈/速限標誌)
動態物件辨識(行人/兩輪車/四輪車)
基於Early Termination與Low Complexity Bbox Proposal技術之快速物件偵測辨識架構
減少NN training時間與加速inference速度
- 基於環境條件限制之決策融合技術
應用範圍
相關影像處理領域、嵌入式系統應用領域、車輛安全與環境感知領域(含先進駕駛輔助系統與自駕車環境感知系統)
連絡窗口
許呈任/ IoT暨IC技術與應用推廣部（C300）
電話：03-5914771
Email：kevin8@itri.org.tw
https://www.itri.org.tw/
工研院資訊與通訊研究所
