參賽團隊名稱 : 台科電資聯合
提案動機 :
為提升至更高的自駕等級，自駕車系統需具備即時且正確的辨識能力。
台科電資聯合 – 全天候未知路障警示系統 :
結合了台科大電子所、資工所實驗室中雙影像融合技術、未知物辨識技術 (CVPR 2021 論文) 及 Intel 致力研發的 OpenVINO技術。即便在不易辨識的夜晚，我們的系統也能達到高幀數、高準確度且低延遲的辨識效果，並且具備辨認未知的能力！使自駕車突破目前的困境，朝更高的自駕等級前進。
解決方案 :
– 硬體
- Intel I7-7700(內顯GPU HDU630)高階處理器
- DevCloud模擬硬體
- NCS2神經棒
– 軟體
- Anaconda、VS Code
- Intel OpenVINO Toolkit
– 系統架構圖
台科電資聯合-全天候未知路障警示系統-架構圖
– 過程描述
最初的構想為透過 YOLOv4 得到最高的準確度。礙於雙影像運算加上未知物處理使模型肥大，幀數遲遲無法突破 20 FPS，因此我們選擇輕量化的 YOLOv4 Tiny 作為模型。
接著為了解決 OpenVINO 對於 YOLOv4 Tiny 支援的限制，我們降版至 YOLOv3 Tiny 並調整系統架構做模型訓練。
最後我們測試了各種硬體之間的效能，包括 : 單一 CPU、GPU、神經棒；CPU、GPU、神經棒的多種混合組合，同時也在 DevCloud 上測試，最終在單 GPU 使用上跑出了最佳成績。
使用 OpenVINO 後，整體的辨識幀數、準確度也有更進一步提升，讓全天候未知路障警示系統降低延遲且更即時。
成果介紹短片 :
影片中詳細的敘述了本次 Intel® Distribution of OpenVINO™ Toolkit 競賽中台科電資聯合團隊的：
- 背景解說
- 解決方法
- 成果展示
- 未來展望
成果介紹 :
成果介紹短片中可見，將雙影像模型及未知物辨識模型都放入全天候未知路障警示系統的情況下，仍可達到 70 FPS 上下的高幀數。
即便在視線模糊的夜晚，對已知物的辨識具備高準確度及高辨識率，亦可識別路邊多數未知物體，使系統能有效感知周邊環境。
最後透過 OpenVINO 將模型的表現進一步提升且更即時，平衡了準確度、幀數、延遲性，讓系統在各方面都有不錯的成績。
未來 L5 等級的無人車上，全天候辨識系統與未知物件偵測系統必定是基本配備。
我們結合多種最新技術開發出全天候未知路障警示系統，並以優異的辨識成果，展現了未來自駕車基本配備的技術。
成果圖：
台科電資聯合-成果圖
結論 :
- 雙影像提供了夜間大幅提高準確率及辨識率的能力。
- 未知物辨識提供了更完善的安全性。
- YOLOv3 Tiny能大幅提高幀數，但犧牲了一些準確度(我們透過雙影像及OpenVINO補足)。
- OpenVINO能進一步提升準確度及幀數並降低延遲性。
參考資料：
- OpenVINO官方網站
- K J Joseph, Salman Khan, Fahad Shahbaz Khan, Vineeth N Balasubramanian,Towards Open World Object Detection ,CVPR 2021 as an ORAL paper.