影像採集結合深度學習,打破Edge AI的影像效能瓶頸

作者:林宏沛

在Edge AI的應用中,影像的即時處理與AI應用可說是近年來主流的應用之一,舉凡像是廣電、醫療、教育、安防、工業自動化、直播等專業領域,都陸續導入AI應用。然而在影像AI應用中,光是搞定AI方面的訓練仍是不夠的,還要搭配專業的影像採集,以及強大的AI平台,方能讓影像AI的應用達到更上一層樓的境界。

從專業視訊擷取卡出發的聰泰科技,以自身在專業影像領域的經驗,搭配AI團隊,推出搭配OpenVINO平台的影像AI解決方案,幫助工程師輕鬆將傳統的監控應用升級到AI級的影像應用。

從影像採集開始,在AI開始前必須處理好的三大步驟

影像AI的應用很多,但前提要先處理好錄影、遠端監看,以及影像採集,並能同步處理多路影像,以完整串流顯示或呈現出來。因此影像AI應用的基本功,就是要能搞定影像的採集、錄影與串流。

影像AI應用的基本功:影像採集、錄影與串流

當今視訊採集的來源很多,除了一般的視訊相機、網路攝影機之外,還有一些高階的影像或是光學設備,這些設備大多提供廣泛流行的介面,諸如HDMI、VGA、DVI、S-Video、Composite、SDI、YPbPr等等。而影像採集卡的主要功能,就是提供上述的視訊至電腦之間的連結,賦予專業用戶能夠將一些沒與電腦連接的專業設備,透過擷取的方式與電腦進行連結,以便進行AI影像的相關應用。

透過影像採集卡來擷取各種週邊影像資料,以便進行AI影像應用

以往還沒加入AI機制的傳統監控應用,大多是影像來源(監視攝影機、IP Camera等),經由影像擷取卡或是NVR之類的機器,將各路影像擷取並儲存好,以做為日後調用查看的依據。然後若有需要調閱這些錄影時,使用者就必須從這些錄影存檔中一一查看,以撈出重要片段,這樣可說是耗時費力的工作。

而新一代加入AI機制的影像AI的資料處理流程,則是影像來源經過視訊採集卡之後,提供錄影、串流、深度學習等三個重要功能。先說明錄影部份,由於各種影像來源的格式不同,錄影的格式也有不同(如H.264、H.265),加上必須滿足多路的錄影需求,影像採集卡必須能做到每個畫格都能完整擷取並錄影下來。至於串流部份,隨著5G行動網路的流行,系統在傳遞影像時,延遲必須越低越好,以達到分散式處理,將資料傳遞至Edge或是伺服器端以達到即時處理的需求。

至於在深度學習與AI方面,由於僅處理影像分析辨識這個工作是不夠的,還要同時處理好影像的錄影,以及遠端監看。並能達到同步處理這些多路的影像資料,讓您的錄影資料是帶有AI訊息的,好讓使用者在影像回放,能快速找到重要片段,降低時間與人力。因此整個影像AI智慧系統,必須顧及上述三個步驟,且每個步驟都是環環相扣的。

工程師面臨的跨系統挑戰,VideoAI SDK幫您整合好

聰泰的軟體團隊,累積多年服務客戶的經驗,推出了針對影像AI的SDK (軟體開發工具),包含QCAP (Quick Capture)與QDEEP (Quick Deep Learning)兩大類互補的SDK。其中QCAP的主要特色,就是把上述擷取、錄影、串流等視訊相關的雜事搞定,而QDEEP則提供整合的深度學習應用解決方案,讓工程師在撰寫影像AI相關應用程式時,可以達到跨平台、跨作業系統、跨處理器的目標。

聰泰推出加速影像AI應用開發的2套SDK

對多數人來說,影像AI的應用開發門檻相當高,但QCAP與QDEEP SDK的程式撰寫,只要三個步驟,就可以搞定影像擷取/採集,以及影像辨識的需求。前者主要是選定需要採集之即時影像與聲音來源,而後者則只要選定使用哪種處理器(GPU、CPU、NPU),以及Open AI Model,然後將資料餵給AI訓練模型,以獲得處理結果。

透過QDEEP SDK三步驟搞定影像辨識的需求

打破Edge AI的影像效能瓶頸,Intel Tiger Lake搭配OpenVINO平台提供絕佳表現

影像AI處理方面,由於錄影的資料大多數是YUV格式,而AI分析則以RGB為主,因此不少影像AI的方案在影像的前後處理上,都必須花了不少時間,需要搭配強大硬體平台來處理。對此,聰泰解決了這部份的效能瓶頸,只要工程師提供AI訓練模型所需要的正確格式(例如INT8、FP16、FP32),就可減少格式轉換時所耗費的時間。

聰泰SDK可加速影像AI方案在影像的前後處理工作

至於處理過AI之後的Metadata,如何與原先影像做OSD Overlay,還有資料如何存放(例如H.264 + AI Metadata),讓即使像是Full HD @120 FPS的需求下,也能達到即時採集、錄影、AI處理,這些也都是Know-how所在。為此,聰泰也與Intel合作,在最新Tiger Lake處理器平台,搭配OpenVINO AI平台下,打造出高效能、平價化的AI應用平台。

OpenVINO平台應用到Intel CPU與GPU以及H.264與H.265硬體視訊編解碼的優勢,讓影像AI的處理更快速。如今推展到Tiger Lake第11代Intel® Core™處理器平台之後,效能也更上一層樓。先說明視訊編解碼的效能部份(CODEC Power),以Tiger Lake Celeron 6305U為例,處理單路4K60影像可說是輕而易舉,縱使四路4K30影像也不掉幀。而在Tiger Lake Core i7,更可輕鬆處理到六路4K30,或是四路4K60的目標。對於影像AI開發者來說,不需要選擇高昂費用的額外GPU或是NPU等硬體資源,即可滿足Edge AI即時與不掉幀的需求。

再來看看AI處理效能部份(AI Power),以車牌辨識(LPR)應用測試實例來看,Tiger Lake平台在單路1080P以GPU運算可達30FPS,而用CPU運算也有15FPS。縱使4路1080P下,i7 GPU也能達到15FPS。

AI模型涵蓋各領域,搭配影像採集卡,輕鬆搞定各式AI應用

QDEEP在整合的AI模型中,目前包含了:教育應用、人臉辨識、美顏/背景濾除、EPTZ影像自動放大追蹤、運動員骨架動作追蹤、多車牌辨識、產品辨識、Segmentation(物件偵測)、交通(車種辨識與行駛軌跡)…等等,此外在案例研究與合作方面,聰泰團隊在醫療方面,也與台大醫院肝癌權威許金川教授合作,將超音波肝臟掃描技術,整合到醫學影像AI領域,以期提供更精準的醫療輔助相關結果,協助醫生判定病人症狀。

整體而言,要完善整個影像AI應用,除了AI訓練與應用平台要搞定之外,還要注重影像的處理,包含能夠滿足即時採集、錄影、串流,若能提供影像AI的各種辨識與事件偵測等功能,則可簡化開發流程。而聰泰的解決方案,除了上述之外,還提供各式AI訓練模型,搭配OpenVINO的平價硬體平台,即可讓影像AI的開發與應用更加容易,甚至能在半小時內完成一個AI應用,值得AI開發者們參考!

(作者為聰泰科技研發副總經理,責任編輯:謝涵如)

【延伸學習】

想更深入學習本文內容,可至《MakerPRO數位學習平台》收看完整教學影片

Author: 林宏沛

大同資工/台大資工軟體背景,具 20 年影像軟體開發經驗,參與數百項影像採集產品相關設計,亦擁有多項影像技術專利。目前持續協助客戶在專業影像市場上 採集、錄影、串流、人工智慧四大領域深耕。

Share This Post On

發表

跳至工具列