|

善用Edge AI達成智慧交通關鍵任務

   

作者:陸向陽

AI推論工作可以在雲端(Cloud)完成,也可以在邊緣端(Edge)完成,但交通事關緊要,需要即時得到推論結果,幾乎必然要選擇在邊緣端完成,因而需要Edge AI,亦即就近設置AI推論系統,甚至是動用硬體加速方案,如GPU、VPU、FPGA等晶片。

OpenVINO在智慧交通的應用

裝配在車輛上、路口的邊緣運算系統,絕大多數是使用英特爾架構(Intel Architecture, IA,或稱x86架構)的強固型工控電腦,且可另行配置硬體加速模組,如Intel的Movidius系列的VPU晶片,或Altera系列的FPGA晶片等。

除硬體外,Intel也為智慧交通的Edge AI上帶來極大的軟體貢獻,即OpenVINO工具套件,OpenVINO支援多種人工智慧模型的框架格式,並依據現行運算系統可用的硬體配置,對模型進行調整、最佳化,使系統發揮最高的AI推論效率,以因應智慧交通所需的快速反應。

OpenVINO本身可用於各種AI應用,但OpenVINO也已針對先進駕駛輔助系統(Advanced Driver Assistance Systems,即ADAS)而隨附許多預訓練好的AI模型(Pre-Trained Model),以及開放原始碼的AI模型 (Open Model Zoo),使其他智慧應用的開發者,不用從無到有重新開發,運用現成模型將可更快實現應用。

目前OpenVINO有10多類預訓練模型,各類下還有若干個模型:

 

針對ADAS應用,主要會用到面對駕駛的影像偵測及面對街區(擋風玻璃前)的影像偵測,例如以下幾個模型:

<駕駛>
gaze-estimation-adas-0002,在影像上標註出駕駛的眼神方向
face-detection-adas-0001,標註出駕駛臉面朝的角度方向
head-pose-estimation-adas-0001,標註出駕駛頭的姿態
facial-landmarks-35-adas-0002,標註出駕駛面部的35個特徵位置

Intel OpenVINO提供的預訓練模型可偵測眼神與面部角度。(圖片來源

<街區>
instance-segmentation-security-0049,實列分割預訓練模型可標註出街景畫面中移動的實物

實列分割預訓練模型可針對道路、車輛、路標等個體進行辨識(圖片來源

OpenVINO官網也列出各模型至少需要多少畫素的影像與多少用於推論的浮點運算例,例如gaze-estimation-adas-0002需要至少188.2萬畫素及0.139GFlops(32位元),或facial-landmarks-35-adas-0002需要459.5萬畫素及0.042GFlops。

不過,這畢竟是最低要求,只是基本能動,實務上通常需要更高的畫素、更強的浮點運算力。舉例而言,Intel第11代的處理器系列中,Intel® Core™ i7-1180G7 處理器(原研發代號Tiger Lake)在搭配1.1GHz時脈運作的Iris Xe Graphics 96EU下,能夠有1687GFLOPS的效能,以充沛的運算力快速完成AI推論運算,滿足各種智慧交通應用需求。

以OpenVINO為基礎的解決方案

由於OpenVINO的開放與強大,已形成極具份量的技術生態圈,許多業者也以OpenVINO為基礎發展其智慧交通軟體方案,或能與之整合、協同呼應運作。

實務上已有不少工控系統業者、系統整合商提出具體方案。例如超恩(Vecow)在列車上設置合乎歐洲軌道運輸規範(如EN50155、EN45545-2)的工控電腦,並用及軌道運輸的強固型M12連接器,實現列車頂部集電弓與底部車輪的即時影像安全辨識檢測,或同樣有電弓檢測但設在月台上,以雷射測距方式檢查消耗性的碳刷,確保列車運作安全。

超恩在軌道運輸上的集電弓檢測方案。(圖片來源:超恩)

除列車外,超恩也有公車、自駕車、路口等案例,例如於歐洲運用PoE+傳輸電力與視訊,以一部工控電腦同時監控多部公車的行車影像;或在日本運用4G LTE通訊,即時傳遞往返於機場間的無人公車之影像,同樣也在日本運用無人車描繪自駕所需的3D街景地圖;或與工研院合作開發iRoadSafe方案,提供路口的人、車預警,並在台北市仁愛路與國內多數進行場域實證。

同樣有高度實務歷練的業者為慧友電子(EverFocus),其智慧交通方案主要是針對大型貨車,一是駕駛盲區盲點的入侵偵測(Blind Spot Detection, BSD),另一是駕駛疲勞分神的行為偵測(Driver fatigue/Status Monitoring, DSM),透過AI影像偵測可以提醒司機有人、車、物進入盲區,以及監看司機的眼神是否過長時間未專注前方。

慧友電子的駕駛狀態偵測方案。(圖片來源:慧友電子)

慧友亦有公車站點(Bus Stop)的應用,透過影像偵測目前的等待人數、公車停靠時間計算、車門開啟時間計算等,使營運端能掌握更多管理、調度所需的資訊,甚可提供廣告、ADAS等相關服務。

智慧交通開發環境

超恩也以OpenVINO為基礎開發一套VHub軟體,VHub支援Windows、Linux(以Ubuntu 16.04為主)作業系統,可搭配工控電腦系統一同出貨,供應用開發商、系統整合商自由運用。

超恩VHub方案。(圖片來源:超恩)

又如慧友電子開發人工智慧視訊錄影(NVR)軟體方案AiO(All-in-One),可支援x86架構的系統,並具備基本的視訊錄影功能及人工智慧模型,模型除了包含前述的OpenVINO預訓練模型外,還有Intel VAS SDK(軟體開發套件),以及慧友電子自己的演算法;作業系統方面同樣同時支援Windows與Ubuntu Linux。

慧友電子AiO與OpenVINO協同運作示意圖。(圖片來源:慧友電子)

AiO在AI推論上可以直接呼用(呼叫使用)OpenVINO,得到推論結果後再由AiO呈現,AiO也提供多種使用者介面,例如在大型貨運上能以較大的觸控方塊操作使用,避免司機分神。另外,AiO也能與車用控制介面CAN bus整合,一旦司機切打方向燈,AiO即會放大與方向燈同側的盲區畫面,使司機更清楚識別影像。

附帶一提的,如同軌道運輸需要比較強固的M12連接器,若是在大型貨運車輛上,使用USB介面連接AI加速模組,亦有晃震脫落的可能,因此慧友也提供Mini-PCI Express(mPCIe)的AI加速模組,以較強固的內接方式擴充推論效能。

智慧交通工控主機板

前面提及Intel第11代處理器,在諸多工控系統方案中,研華電腦的支援腳步相當快,不久前推出的MIO-2375工控主機板,除了擁有第11代的運算效能外,主機板也高度節能,其TDP為15瓦,長寬僅10 x 7.2公分(Pico-ITX標準),非常適合Edge端車控系統的AI推論運算。

前述1.1GHz的Iris Xe已有1687GFLOPS的效能,MIO-2375在配置初階的Core i3-1115G4E也有1.25GHz的Iris Xe,中高階以上更有1.3GHz(i5)、1.35GHz(i7)等。

研華電腦MIO-2375工控主機板

接上I/O連接器的MIO-2375工控主機板

進一步的,工控電腦不僅要具備抗惡劣環境的強固機構、強大的AI加速效能,也應重視開發與管理。針對開發者,研華引入Linux基金會的EdgeX框架,框架內已具備諸多的感測器驅動程式、服務範例程式,開發者不再需要從頭緩慢開發,而能快速實現新的IoT應用。

在管理上,研華電腦自主開發了WISE-DeviceOn軟體與雲端服務,管理者可自任何可上網的地方登入,從而掌握每一台位於感測現場、邊緣端的工控電腦(IoT閘道器)之運作狀態,並包含異常偵測、設定條件規則、韌體升級、日誌記錄與檢視等功能。(註:更多說明可參考本文

研華電腦WISE-DeviceOn雲端管理介面

結論

最後毫無疑問的,智慧交通可謂是關鍵任務(mission critical)性應用,一是運輸工具不斷移動晃震,並會歷經各種冷/熱/塵/潮環境,且餘裕空間有限,因此需要小巧強固的工控系統,另一是運輸快速移動,其AI推論工作必須快速即時反應,因此必須設置高效能運算系統(如Tiger Lake、VPU、FPGA),雲端運算力雖強大,但回應速度卻緩不濟急。

有了充沛快速的AI效能後,也需要搭配合適且強大的AI軟體,包含OpenVINO以及與其呼應延伸的VHub、AiO等,如此才能更快、更精省地實現智慧交通應用。

(本文中使用到超恩公司及慧友電子的說明用圖片,皆取得同意使用;責任編輯:謝涵如)

陸向陽
陸向陽

Author: 陸向陽

從電子科系畢業後,即以媒體人的角色繼續這段與「電子科技」的不解之緣。歷任電子技術專書作者、電子媒體記者、分析師等角色,並持續寫作不殆。近來投入Arduino、Raspberry Pi等開放硬體的研究與教程介紹。

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *