本文為2022 Intel DevCup參賽團隊「神櫻AI團隊」的作品介紹,該團隊提出<介面模型>創新概念,有效提高模型的彈性變動自由度,並運行於OpenVINO設備上,依循MLOps來落實聯合學習。
提案動機
傳統Edge AI架構沒有強調<介面模型>的角色,如同一個沒有<插座/插座>的廚房。以致於在優化模型時,將數據格式(如Input shape)都冰凍(Fixed)住了。因而失去適應需求變化的彈性。這顯著違背了MLOps原則,常讓聯合學習&分散式推理時陷入泥遭裡。
於是,在本專案提出介面模型(Interface Model)的設計理念,力求提升各AI模型的通用性,以及追求可抽換性(PnP)的益處。除了將能讓更多的系統模組(Component)之間具有更好的疏結合(Loosely-coupled)關係,並進而創造OpenVINO整體生態的有機次序(Organic order)。
解決方案
本專案裡,我們提出了介面模型(Interface Model)的設計理念,並以實例說明之。為了推廣這項<介面模型>創新設計的理念和技術。特別使用Excel來包裝Python程式,並提供可視化、可操作的UI畫面,來讓更多經理人們親自體驗這種新潮設計美妙滋味。在本專案裡,我們提供兩組<介面模型體驗包>,讓大家可以實機操作,動手體驗一番。兩組體驗包都使用來展示其運行。亦即,在Excel畫面背後的介面模型及主模型,都是經由OpenVINO優化之後,運行於CPU或NCS2上。
我們也提出介面模型的設計及開發流程,並開源範例程式碼,希望能達到拋磚引玉的效果,激發更多開發者來進一步豐富OpenVINO平台上的介面模型。除了將能讓更多的系統模組(Component)之間具有更好的疏結合(Loosely-coupled)關係,並進而創造OpenVINO整體生態的有機次序(Organic order)。
基於上述的創新設計,發揮<介面模型>,可以確保底層主模型的變動自由度。我們提出<基於潛藏間的AIOS架構設計>理念,它透過介面模型,來指揮各模型協同合作。
成果介紹短片:
成果介紹
本方案的目標是:設計介面模型,實現主模型的彈性變動自由度。例如,我們以ECG心電圖的分類模型為例,使用<介面模型>來擔任傳統的數據格式的轉換(含數據預處理)任務。這<介面模型+主模型>的新潮架構如下:
由於<介面模型>的貢獻,能輕易地把主模型抽換掉(PnP),表現出彈性新陳代謝的有機次序,如下圖所示:
除了創造了主模型彈性抽換(PnP)的效益之外,還表現於可復用(Reusable)<介面模型>。例如,本專案裡,遷移了第三方套件OpenCV提供的超高解析度(Super-resolution)插值(Imputation)預訓練模型,來開發出自己的優質介面模型。並以優化AIGC文創為例,這AIGC(AI Generated Content)是由AI產生的內容,其特點是自動化生產、高效。例如下圖:
其中,原始資料是彩色的224 x 224小圖像。設計師們需要放大(3倍),並且由AI自動渲染出大張的圖像(672 x 672)。這樣的架構具有三項優點:
1.自動產生:這是透過GAN模型的自動渲染。
2.更優質作品:這FSRCNN是OpenCV提供的預訓練模型,其圖像放大的效果,比傳統做法好很多(例如,沒有明顯的鋸齒狀邊緣)。
3.更高效:這FSRCNN介面模型可以經由OpenVINO優化,高校運行AI晶片上,運行效率大大提升。
對於藝術文創者而言,AI可以激發人們更多想像空間,例如上圖-1的GAN模型是學習Picasso畫風,而自動渲染出來的。這個模型也可以輸入八大山人的畫作,然後AI彩繪出Picasso的色彩風格,成為中西合璧的創新作品,例如下圖:
於是,將八大山人的山水畫作品,由AI彩繪出Picasso的色彩風格。
團隊自介
神櫻AI團隊共有5位成員。其中3位是由銘傳大學同學,1位是陽明交大同學。另一位是銘傳大學高煥堂教授,擔任本團隊的指導老師。我們的共同興趣和專長是<醫療AI聯合學習與分散式推理>相關技術。期待各位前輩先進不吝多指教。
- AI+無人機守護海域遊憩安全 台南市發表「智慧海灘」成果 - 2024/11/14
- 【多模態時代】LLaVA模型的重要性 - 2024/11/11
- Arm與GitHub聯手助力軟體開發者簡化AI應用部署流程 - 2024/11/07