【NTUST_HISLAB】前進自駕車世代-基於邊緣裝置之車道置中系統

團隊名稱：NTUST_HISLAB

為提升自駕車系統的可靠度，即時以及能夠正確的辨識是系統非常重要的兩個指標。 所以提升車道線檢測任務在視覺線索不佳的情況的辨識能力，且搭配OpenVINO技術優化模型減少計算量，結合兩者後系統能提升幀數、低延遲的辨識效果，能夠為自駕車提供更優秀的穩定性。

提案動機

隨著人工智慧的時代來臨，AI應用於交通的例子可說非常廣泛，而在自駕車的安全性能發展中更是每個車廠都致力達成的目標，其中找出駕駛人目前所在車道是一項不可或缺的系統要件。

為提升自駕車系統的可靠度，即時以及能夠正確的辨識是系統非常重要的兩個指標。 所以提升車道線檢測任務在視覺線索不佳的情況的辨識能力，且搭配OpenVINO技術優化模型減少計算量，結合兩者後系統能提升幀數、低延遲的辨識效果，能夠為自駕車提供更優秀的穩定性。

解決方案

– 硬體

• Intel I7-11800H(內顯UHD Graphics)處理器 

– 軟體

• VS  Code、Anaconda、OpenCV
• Intel OpenVINO Toolkit

過程描述：

透過使用RGB行車影像，在Intel致力研發的OpenVINO Toolkit上進行車道線特徵萃取以及資料的後處理。利用加強的網路架構，來提升車道的辨識能力。即便在天色較暗、或者車道線有被遮擋的情況下，我們的系統仍能夠達到低延遲以及更加全局性的辨識效果，使自駕車技術對於駕駛及乘客的防護達到更高的安全性。

在成果短片中，可見即使有車道被遮擋，或著是光源昏暗的情況，系統都能準確預測出車道線，且使用了OpenVINO後的運算進一步提升。另外也進一步的對獲取到的車道線做後處理，如與車道的偏移量、壓線警告、車輛置中訊息等，提供更多的資訊給自駕車。

主要工作：

• 通過聚合切片特徵圖，在垂直和水平方向上循環移動切片特徵圖，使每個像素能夠收集全局信息。讓模型更好的預測出看不見的車道。
• 使用車道線資訊，進一步後處理，提供更多的資訊給自駕車做決策。
• 透過OpenVINO提升系統效能：加入OpenVINO後使原本龐大的模型體積減少一倍以上，辨識速度微幅提升！

系統架構分為四個階段，在模型推論的部份使用了OpenVINO加速：

• 第一階段首先輸入RGB影像。
• 第二階段對輸入影像做處理，萃取出車道線理應存在位置的特徵。
• 第三階段得到影像中車道線資訊後，對其做後處理，找到行駛中所在的車道，以計算車道中線，提供轉向資訊。
• 第四階段輸出結果影像。

（圖一，NTUST_HISLAB-基於邊緣裝置之車道置中系統-架構圖）

成果介紹：

以下影片中詳細的敘述了本次 Intel® Distribution of OpenVINO™ Toolkit 競賽中NTUST_HISLAB團隊的：

• 背景解說
• 解決方法
• 成果展示
• 未來展望

成果介紹影片重點說明：

（圖一）白天（左）光線充足與晚上（右）光線昏暗皆能正確辨識。

（圖二）被遮擋情況預測效果，可見紅圈位置視覺上被物件遮擋的車道，我們的系統可以很好的預測出來。

（圖三）車輛置中系統搭配UI，為車輛提供目前車道資訊，可以搭配決策系統去保持車輛行駛於路段中央，以免發生與其他車輛擦撞事故。

在本地端的CPU、GPU(Intel內顯) 進行了不同裝置的選擇，在還沒使用OpenVINO轉換模型前，本地CPU FPS小於0.5，如表一，而使用了OpenVINO優化模型後，採用FP16以及FP32的模型CPU推論速度比為轉換前提高了4倍，同時GPU的推論速度在優化後也比原先的GPU微幅提速。

結論

• 強化看不到的車道線特徵的網路架構，提升在車輛行駛時更全局性的辨識，極端氣候的情況下如夜間，或者車道線受到其他物體遮擋時，也能很好的預測車道。
• 計算車輛與當前車道的相關數據，即時的向自駕車提供有用的資訊，避免因車道偏移而造成擦撞事故。
• 利用OpenVINO，進一步優化我們的模型，使運算速度提升，日後應用在運算資源有限的邊緣裝置上可以獲得非常好的效果。
• 我們實際在汽車上架設RGB攝影機上路蒐集資料，有優良的資料才能訓練出高準確率的模型。而數據集為本團隊所有，資料的價值與模型良好的性能都使本團隊已在市場上取得優勢。

參考資料：

• OpenVINO官方網站

• Recurrent Feature-Shift Aggregator for Lane Detection Tu Zheng, Hao Fang, Yi Zhang , Wenjian Tang , Zheng Yang , HaiFeng Liu , Deng Cai 
  
  本團隊由國立臺灣科技大學(電子工程系)陳永耀教授指導。