AI Edge Perception Module for ADAS and ADV

技術簡介

結合電腦視覺與深度學習技術，建立適應人車混流等特殊行車環境之軟體引擎，ITRI Inside自主化軟體解決方案，可依據不同SoC進行客製化不同功能需求，此軟體解決方案，具備高性價比、高環境適應性與高產品組合性等優點，通過優化平衡性能、準確性、硬體限制，顯著改善了自動駕駛系統，從攝影鏡頭行業到汽車行業，我們的技術已被用於各種汽車產品，以提高駕駛員的安全性。

技術特色

• 影像前處理技術：提升影像品質，並對於深度學習訓練資料庫中未包含之案例，可強化其偵測辨識準確率，例如即時將大雨環境之影像模糊化程度，降低為小雨的模糊化程度。

• 異質感測器前融合技術：建立高解析度環境模型，其可提升訊號處理之抑制雜訊能力; 於各感測器，可加速偵測辨識速度與提升偵測準確率。

• 深度學習影像辨識效能優化技術：透過結合CNN與決策樹、Model Merge、物件追蹤、動態提取ROI資訊等技術，減少Convolution運算量，加速深度學習偵測辨識過程。

• 異質感測器後融合技術：依據當下環境條件，計算各個感測器偵測辨識信心指數，進而決策最終的偵測辨識輸出結果，可提高系統準確性與可靠度。

• 邊角案例訓練與測試自動生成技術：補足實車蒐集資料的不足，提升深度學習完整度。

技術規格

• 影像前處理技術，基於軟體解決方案，提供：

1. 高動態範圍成像-HDR
2. 去雨除霧-Dehazing
3. 鬼影去除-Reflection Removal等功能。

• 異質感測器前融合技術：開發空間同步技術，促使異質感測器同步於單座標系，並建立複合式資料(RGBD)，提升深度圖解析度，0-100公尺區域其RMSE達55公分，提升系統偵測辨識準確率與作為動態校正距離估測用。

• 深度學習影像辨識效能優化技術：

1. 自主開發七種功能之模型(可行駛空間、四輪車、兩輪車與行人、紅綠燈、立體號誌、路面號誌)。
2. 於1.8TOPS算力晶片，完成單鏡頭即時30FPS之AI推論系統(7種功能:包含紅綠燈、車道線、可行駛區域、四輪車、兩輪車、行人、號誌之狀態和語意)，平均效能提升2.65倍。
3. 深度學習架構合併，與傳統兩個模型相比，同時執行物件與語意分割偵測辨識，於相同精確度下，效能提升1.65倍。

• 異質感測器後融合技術：

1. 即時環境分析，動態計算各個異質感測器感測結果之信心指數，提供最適應當下行車環境之感測結果予決策模組。
2. 影像失效分析與偵測。

• 邊角案例訓練與測試自動生成技術：

1. 基於電腦繪圖自動化建立高畫質之不同天候場景與近似車禍(含NHTSA5類22種)Graphics-Based邊角案例。
2. 基於電腦視覺，以AR方式自動化建立Video-Based邊角案例(如台灣場景Pre-Crash邊角案例)。

應用範圍

• AI ADAS (包含單純警示類與控制輔助類)
• AI HUD
• AI DVR
• Smart Headlight
• Perception Engine for Autonomous Driving Vehicle
• Smart Camera
• 協助汽車相關行業導入駕駛輔助系統之軟硬體方案整合設計

聯絡窗口

聯絡人：許呈任/ IoT暨IC技術與應用推廣部

電話：03-5914771

Email：kevin8@itri.org.tw

https://www.itri.org.tw/

工研院資訊與通訊研究所