|

【活動報導】OpenVINO讓生成式AI隨手可及

   

為Edge AI推論應用開發而生的開放源碼工具套件OpenVINO,自2018年由英特爾(Intel)推出迄今,下載次數已經超過300萬次,實現了無數創新成果。2024年伊始,OpenVINO的最新版本2023.3 LTS正式發表,更進一步降低了生成式AI技術的門檻,帶來更簡單的工作流程、更好的PyTorch相容性,並帶來針對大語言模型的最佳化,以及最新Notebook範例。

為了讓廣大開發者對最新版OpenVINO的強化功能有更深入的了解,Intel與MakerPRO在2024年1月底共同舉辦了第三場OpenVINO DevCon線上講座,由Intel平台研發協理王宗業、OpenVINO傳教士武卓博士與AI軟體工程師楊亦誠,詳細介紹OpenVINO又加入了哪些可讓Edge AI開發專案如虎添翼的新功能,接著以生物製藥的應用為案例,展示OpenVINO如何協助打造先進的生命科學CellAI流水線,實現精密細胞分割任務,還有如何利用OpenVINO的Model Serve功能實現LLM服務,以及在邊緣端進行以RTSP為基礎的智慧視訊分析。

讓生成式AI隨手可及

在講座開場,王宗業帶領大家回顧了分別在2023年7月與9月舉辦的前兩場DevCon主題,雖然只有短短數月,OpenVINO除了持續強化對當紅生成式AI等新技術的支援,也一直注意改善平台本身的易用性、擴充參考設計程式碼等資源;來自開放性社群廣大開發者的回饋與貢獻是其中的關鍵力量,而OpenVINO也成為實現Intel「AI無所不在」(AI Everywhere)願景的不可或缺工具。

王宗業表示,為了支援越來越多元化的AI應用,包括可望在2024年起呈現爆炸性成長的AI PC產品以及各種邊緣裝置,Intel在2023年底正式發表了新一代內建NPU的Core Ultra系列CPU (代號Meteor Lake),藉由利用OpenVINO的強大功能,開發者將能盡情揮灑創意、更輕鬆地完成邊緣AI應用的部署。他也樂觀預期,OpenVINO將在今年底就達到超過500萬下載次數的里程碑。

接下來在講座的第一部分,武卓與楊亦誠從前面提到的簡化工作流程、對PyTorch的更好相容性,以及針對大語言模型的最佳化、最新Notebook範例等四個方面,分別介紹2023.3版本OpenVINO的重要更新。在工作流程的部分,新版本透過提供更多元化的安裝方式與更直覺流暢的使用者介面,讓開發者無論是使用那一種作業系統或運算平台的開發者,都能很方便地下載利用OpenVINO進行開發。

此外,新版OpenVINO的Model Converter工具也讓模型轉換程序更簡便,只需要兩行程式碼就能以Python API或CLI方式完成模型轉換。而藉由該工具,將不同格式的PyTorch模型轉換為OpenVINO的IR格式,也不需要再以轉換ONNX格式做為中介,能一步到位。PyTotch模型使用者還能透過在原生框架中進行簡單的程式碼更改,就能享受到OpenVINO帶來的推論性能提升──武卓舉了一個Stable Diffusion Web UI在後端整合 OpenVINO的案例(資源庫下載連結)。

在針對大語言模型(LLM)的最佳化方面,楊亦誠透過講解LLM的架構、在邊緣端應用可發揮的作用、進行LLM壓縮與部署會遭遇到的實際挑戰,還有實際應用案例的展示,說明OpenVINO特別重視對該類模型的支援之理由以及優勢所在;藉由與Huggineg Face的合作──該開源社群為OpenVINO提供了一個名為Optimum的工具資源,為正在面對LLM應用部署任務的開發者帶來莫大助力。

而不只是LLM,針對其他文生圖、音樂生成、文字轉語音等生成式AI模型,與常用的影像分類、物件辨識等等AI模型,提供了有上百種實例分享的Notebook資源庫;針對2023.3版本對更多生成式AI的支援,OpenVINO還推出了為C與C++語言使用者打造的OpenVINO GenAI Pipeline Repo儲存庫,為開發提供最新的程式碼資源。

以Model Server實現創新應用

在讓聽眾對最新版本OpenVINO的強化功能有充分了解之後,講座的第二部分由武卓從一個為生物製藥產業建立的先進生命科學AI流水線案例出發,講解美國業者Beckman Coulter Life Sciences如何運用OpenVINO以及Cellpose AI演算法,實現以名為CellAi的細胞影像分析工具軟體執行細胞影像分割任務的最佳化──透過結合多個深度學習模型以及平行使用CPU與GPU,OpenVINO成功協助該客戶提升了流水線運作效率,在更短的時間(從數十秒加快至數秒)內取得推論結果。

OpenVINO的Model Server工具(OVMS)在上述案例中扮演了關鍵角色;根據楊亦誠的介紹,Model Server的功能有三個基本組成,首先是Model Repository,即是讓使用者在邊緣端儲存、管理自定義模型的儲存庫;第二個部分是讀取儲存庫中模型、執行推論的Model Server本身;第三個部分就是客戶端裝置,也就是接收推論結果的終端應用。

雖然OpenVINO的Model Server並非全新概念,但具備對TensorFlow Serving API和KServe API的相容性,以及支援gRPC、RESTful API,還有對模型增減、多版本管理以及配置熱更新,以及動態尺寸、多模型部署(OpenVINO/ONNX/TensorFlow/Paddle Paddle)、本地及遠端模型檔儲存(GCS/AWS S3/Azure Storage)、Bare Metal/Docker/k8s部署、多種異質運算硬體(CPU/GPU/NPU)的支援等特性,再加上能提供客戶端性能測試範例、快速驗證AI服務性能等優勢,突顯了其獨特的能力。

2023.3版本的Model Server還透過整合Google的MediaPipe,讓該工具的性能有更進一步的提升,包括支援Python程式碼執行(code execution)的新功能,如此能讓使用者以MediaPipe的圖形(Graph)為基礎建構自定義任務,取得更好的服務體驗。楊亦誠實際示範了以Model Server搭建LLM的流程,只需要簡單幾個步驟就能輕鬆上手;此外也介紹了一個在邊緣端進行以即時串流通訊協定(RSTP)為基礎的智慧視訊分析應用案例。同樣Model Server也提供了豐富的儲存庫,有興趣的開發者能點擊此連結取得更多資訊。

在講座最後的問答時間,三位專業講師也與線上聽眾就OpenVINO與Intel各種硬體平台的搭配、可實現的性能,以及針對不同應用適合選擇的平台等等問題進行交流,互動相當熱烈。未來Intel與MakerPRO除了持續提供各位讀者最新的OpenVINO技術教學文章,也將規劃在每一季舉辦不同主題的DevCon線上講座,讓大家一起學習如何更得心應手使用OpenVINO完成創新的Edge AI應用開發,期待很快線上再見!

 

MakerPRO編輯部
MakerPRO編輯部

Author: MakerPRO編輯部

MakerPRO.cc為華人圈最專注於Maker創新創業、物聯網及共享經濟報導及共筆發表的專業媒體,不論是趨勢分析與評論,或創新實作文章,在華文創新創業媒體領域都具有重要的影響力。

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *