參賽團隊：智合科技
提案動機
隨著 5G 及車聯網發展，物流業主需要更具智慧的管理物流駕駛的系統，現行市場中仍處於安裝行車記錄器來進行事後究責，無法達到事前預警及駕駛行為有效的改善。本提案透過兩支攝影機（車前影像及駕駛畫面）進行在線影像分析，使用高效AI運算主機(HPC)分析車前狀況及駕駛行為，當發生異常事件後，進行即時告警，並進行事件錄影，透過4G/5G網路提供管理者查閱，讓管理者隨時檢視行車狀態（例如跟車過近或行人追撞危險），即時發現並修正駕駛行為異常（例如分心）。
其用途為：
1. 保障駕駛安全
2. 透過駕駛行為智能分析來修正駕駛行為，以保護用路人安全
解決方案
本系統特別適合應用於 運輸業 的駕駛管理，我們使用：
1. 研陽科技 UP Xtreme i11 Edge Computer 及 NCS2 神經棒來提供高效能的 AI 運算
2. 使用二支 Webcam 擷取車前及駕駛影像，其中車前影像進行人車物件偵測及追蹤，稱為 ADAS；車內影像進行駕駛人臉識別 [5]及頭部姿態角追蹤 [2]，稱為 DMS
3. 當系統偵測到 駕駛行為異常時，會即時提出警示，並進行後端錄影
4. 車隊管理者可以透過 4G/5G 路由連入檢測駕駛行為 異常狀況，可做駕駛行為評分依據。
在開發過程中所用軟硬體如下：
硬體：
軟體：
1. 系統架構－開發硬體平台：UP Xtreme i11 EDGE+ Intel® NCS2 + Webcam x2 + 路由器
本系統由兩支Webcam擷取車前及駕駛座影像，至車聯網AI平台並將影像分流至OpenVINO平台進行AI inference，並將異常事件上傳至駕駛監控平台，業主能透過駕駛監控平台得知目前駕駛狀態。（圖一所示）
（圖一）系統架構
2. 技術架構－OpenVINO GStreamer [4]
在串流處理，我們採用 OpenVINO 平台搭配 GStreamer 及 OpenCV 方式進行。
AI 順向使用 OpenVINO 預訓練模型 [1]，主要有三類：
1. 車前物件偵測及屬性識別
2. 人臉檢測及頭部姿態角追蹤
3. 人臉識別
影像輸入，可透過 Web Camera 或 檔案方式輸入，Inference 後的影像輸出到二路 V4L2 裝置 [3]
使用 GStreamer 連接 ADAS 及 DMS 所需的預訓練模型（由OpenVINO提供），將 Inference 後的結果，由 MQTT 傳至團隊開發的 AI 智能駕駛行為分析程式進行分析，使用 OpenCV 進行 online 貼圖，並將駕使行為異常結果儲存於資料庫，管理者可透過 本團隊開發之駕駛監控平台進行異常事件的檢索。（圖二所示）
（圖二）技術架構
3. ADAS Pipeline
圖三為 GStreamer 連接 OpenVINO Model（人、車、自行車辨識）、（人物屬性辨識）、（車輛屬性辨識）之 ADAS Pipeline：
（圖三）ADAS Pipeline
4. DMS Pipeline
圖四為 GStreamer 連接 OpenVINO Model（頭部姿態角辨識）、（人臉辨識）之DMS Pipeline：
（圖四）DMS Pipeline
成果介紹短片
成果介紹
1. 安裝模擬場景
（圖五）模擬場景
2. ADAS 與 DMS 功能介紹及觸發條件
（圖六）功能介紹
3. 車機畫面及駕駛監控平台 – 展示說明
（圖七）車機畫面介紹
（圖八）駕駛監控平台操作步驟
4. 各項Model使用CPU及VPU效能表現
（圖九）Model使用CPU及VPU效能
（圖十）使用 CPU 及VPU 效能圖表 (因值域差異大，以 Log10 對數表示)
（圖十一）裝置工作詳細內容
以下概略說明主要硬體的使用方式及整合後系統效能的表現，其中CPU 佔比最高，功能包含：
1. 負責兩項 AI 功能：車前物件偵測與追蹤，及駕駛頭部姿態角
2. 應用端的邏輯及 online OSD 貼圖
3. 網頁伺服器及資料庫
GPU 提供車機影像的顯示，NCS2 神經棒負責第三個AI的功能：人臉偵測與識別。
輸入資料量為兩隻 Web Camera 攝影機，其解析度為 752×416@30 FPS，整合後的系統效能，張數大約落在 15~25 張。
本系統能即時分析輔助駕駛並讓業主了解駕駛行為表現，可以進行員工教育，提升駕駛素質，保障駕駛及用路人的生命安全。