作者:創業小聚特約編輯 顏珮綺
AI PC、AI手機最吸引的概念,就是把AI放入設備中,不用聯網也能實現部分AI功能。汽車界的的聖杯「全自動駕駛」,也希望能做到把AI放入車內。
新創峻魁智慧提出了一套能讓AI瘦身到現行晶片就能運算,而且不會丟失模型準確率的「車用嵌入式系統」,他們是怎麼做到的?
高隱私低功耗,Edge AI勢不可擋
峻魁智慧創辦人郭峻因(首圖右)指出,要把大型語言模型AI放入終端裝置,需要在終端裝置放入多個GPU才能運算,但高昂的成本顯然並不實際。如果硬要把大型語言模型放入終端裝置,最後也跑不動。
有沒有兩全其美的方式?這是峻魁智慧想解決的核心問題。
「我們的定位是一個工具,讓廠商可以順利把AI模型放入既有的晶片。」郭峻因表示,峻魁智慧的解方是一套AI瘦身的工具,在縮小AI模型的同時,卻還能保有準確度,而這個技術就是峻魁智慧自行研發的AI Craft。
核心技術AI Craft,如何維持模型精準度?
為了讓大型語言模型AI嵌入車子,峻魁智慧的AI Craft有三大核心:A-Craft、P-Craft和Q-Craft。
A-Craft(模型自動標記)
由於大型語言模型壓縮後,可能會導致AI識別物體的能力失準,像是行人、車輛、動物等,因此需要讓縮小版的AI擁有新的辨識方式,但重新手動標記模型AI十分耗時費力,於是峻魁智慧研發模型自動標記圖資的能力,依據下方汽車辨識成果影片,顯示自動標記比手動標記快7倍。
P-Craft(輕量化架構)
為了符合終端裝置運算的能力,P-Craft為壓縮模型的技術,依據客戶要求,可擬定模型AI的輕量程度,在精度損失最小的狀態下,達到最大的壓縮。
Q-Craft(8bit定點模型)
在P-craft壓縮的同時,可能使模型AI失去精度,因此會在8位元的基礎上訓練AI的準確度。
郭峻因解釋,這其實就是靠模仿:透過比對縮小版AI和原本大型語言模型AI的結果,如果有錯誤,就強迫縮小版AI學習原本大型語言模型AI的辨識方式,「就好像學生學習老師的做法。」
另一方面,有時候客戶會提出「雪景辨識」這類台灣不常見、資料量少的訓練需求,峻魁智慧因此提出透過生成式AI自動生成資料的解方,節省收集和標記的時間。
兩大優勢成掌握商機的關鍵
在AI當道、人人都想做AI的情況下,峻魁智慧如何與眾多AI模型新創公司一較高下?
郭峻因認為,「AI人才厚實」和「工具取向」是峻魁智慧最大的優勢。一般AI模型新創初期都是以產品為重,依據客戶需求去執行專案,然而專案一多,就容易面臨人手不足、效率低下的結果。
峻魁智慧於2022年成立,在陽明交通大學任職教授多年的郭峻因,跳脫學術體制,成立新創公司。「起初也是誤打誤撞,想說要回饋社會,而且AI模型和ADAS技術也是我一直熟悉的。」郭峻因笑稱改學生論文也有點無趣,眼看離退休還有7、8年,剛好可以利用專業,去嘗試創業這一塊,看見更多可能性。
作為陽明交通大學電子研究所實驗室的延伸,具備厚實的AI研發團隊基礎,以及高效的AI模型工具,正是能快速掌握商機的關鍵。其中關於如何讓模型瘦身又保持準確度的秘訣,正是團隊在大量技術人才下累積的競爭護城河。
目前峻魁智慧已經獲得多媒體晶片商凌陽科技、IC設計廠商芯鼎科技的天使輪挹注,目前也已經擁有10個客戶,並以開發費用與授權的權利金爲收費模式。
郭峻因透露,除了自動駕駛、駕駛人行為等應用外,接下來還會橫跨健康照護領域,預測以後的家庭也會需要其應用,隨著高齡長者獨自在家的情形增多,AI模型的行為辨識能幫助在外子女確認家中長輩的狀況,且不上雲端、高隱私的的特點,會是大型語言模型AI被看好的優勢。
創業快問快答
Q:要達到下一步目標,團隊目前缺乏的資源是?
A:
1. 願意且具備共同理念的創業的夥伴與人才難尋。
2. 獲得國際大廠對於新創公司峻魁智慧的技術能力信任。
Q:創業,教會了你哪些事?簡單分享創業至今以來的心得感想?
A:
1. 身段必須柔軟
2. 具備愚公移山的毅力與信念
3. 做足準備把握機會起飛
Q:創業至今,做得最好的三件事為何?
A:
1. 專注核心技術研發,提供優質AI設計服務。
2. 核心技術方向正確,以最精要的AI設計工具來提供最好的設計服務,減低人力負擔。
3. 合適的策略夥伴選擇,相互合作開創商務機會。
(本篇文章經同意轉載自創業小聚,原文連結;責任編輯:謝嘉洵。)
- 【創業小聚】讓8歲女孩也會寫程式,OpenAI、a16z投資的AI神器Cursor是什麼? - 2024/10/23
- 【創業小聚】最想不到的地方也需要AI,宜科循環瞄準「垃圾回收廠」加速處理百噸垃圾 - 2024/10/21
- 【創業小聚】30分鐘就能導入AI,慧演智能讓NVIDIA、喬山看好的關鍵是什麼? - 2024/09/18