作者：創業小聚內容採編 曾令懷
「就好像蘋果把Siri從一個App，變成硬體內建的AI系統，我們也要讓大家都有自己的Siri。」Skymizer行銷總監暨執行副總裁魏國章舉例。
（圖片來源：曾令懷攝影）
新創Skymizer於29日宣布推出AI晶片智慧財產權（IP）產品EdgeThought，實現大型語言模型（LLM）的邊緣運算，從冰箱到車子都能瞬間成為AI智慧硬體。
Skymizer以AI晶片編譯器起家，簡單來說就是將軟體程式語言與硬體機械語言相互翻譯、互通的翻譯角色，以提升電腦運算的效能。
由於程式語言跟硬體架構五花八門，要做到高效能的編譯器並不容易，市場上的玩家都是聯發科、晶心科技、華為這樣的大企業，Skymizer能以新創之姿挑戰，是因為創辦人唐文力（首圖左）和張秉浩堅強的技術實力：兩人分別是Marvell迭代編譯器（Iterative compiler）的原始作者、聯發科MClinker的架構師，以及ARM軟體版本虛擬機的貢獻者之一，Skymizer還曾獲得政府國發基金、行政院科技部、聯訊、華揚，還有Intel前副總裁王文漢等人投資。
魏國章（首圖右）表示，隨著生成式AI浪潮爆發，Skymizer一直扮演編譯器角色、也曾自行研發LPU（語言處理器），具備深厚的經驗與能力，將LLM縮小又不失精準度，以邊緣運算的方式放入任何硬體裝置，讓LLM可以無痛與硬體設備溝通。
技術長唐文力表示，Skymizer的LPU運算效果可以提升8.9%～20%，但是精准度只減少1%～3.4%左右，展現了Skymizer的技術實力，也是EdgeThought的技術基礎。
Skymizer EdgeThought可以讓硬體設備直接與LLM溝通。（圖片來源：Skymizer YouTube截圖）
具體來說，EdgeThought擁有4項優勢：
- 優化的編譯器技術：加速器核心是Skymizer的專有編譯器技術，可最大化硬體利用率和效率，即使在資源受限的邊緣設備上也能實現卓越的性能；
- 提升計算和記憶體效率：減少延遲、最大化資料的傳輸量以減少內存記憶體，以此高效進行LLM解讀；
- 降低導入成本：Skymizer的EdgeThought解決方案大大降低了部署AI的成本；
- 高度彈性：可以支援多種LLM的應用。
只要是具備4 GB記憶體的硬體裝置，透過EdgeThought之後，就能使用大型語言模型（LLM）Llama 3 8B版；在記者會上，魏國章也示範了將EdgeThought整合後的汽車，只需要把原本的指令集餵給AI訓練，就能讓汽車瞬間升級成為AI汽車，輕鬆以語音操控車窗、雨刷等等。
目前EdgeThought IP已經開放授權，並且無需大規模修改即可集成到現有的硬體設置中，Skymizer也開始與半導體公司和設備製造商合作，將這一強大的技術推向市場。
- 【創業小聚】靠「AI即時翻譯」迅速站穩日本，聲麥無線分享當地客戶最在意的兩件事 - 2024/09/12
- 【創業小聚】「讓所有人都有自己的Siri！」Skymizer推出AI晶片，讓AI無所不在 - 2024/08/27
- 【創業小聚】讓AI縮小又不失準確度，陽明交大出身的峻魁智慧怎麼把車子變聰明？ - 2024/08/22
