應援LLM邊緣推論任務　Skymizer以LPU加速生成式AI遍地開花

Posted By Judith Cheng on 5 月 16, 2025 in AI Agent, AIGC, Edge AI開發地圖, Llama 2, LLM, 技術新訊, 特寫, 產品新訊 | 0 comments

兩年前由ChatGPT掀起的生成式AI風潮熱度未減，在2025年初橫空出世的DeepSeek-R1又來添了把柴火：我們可以預期，當AI模型訓練成本與尺寸可進一步縮小，將真正開啟一個「AI無所不在」的新時代，會在橫跨各種產業的大大小小邊緣裝置上，看到更多針對特定需求、場景的生成式AI推論應用部署；而屆時為這些AI任務量身打造，能提供更低功耗、價格與尺寸等優勢的專屬應用晶片(ASIC)勢必需求量大增。

看好這波商機，以編譯器軟體起家、轉型AI晶片加速器IP供應商的市場新秀Skymizer (臺灣發展軟體科技)，接續在2024年正式推出的EdgeThought系列語言處理單元(Language Processing Unit，LPU) IP，於2025年度台北國際電腦展(Computex)開跑前發表號稱功能更強大的新一代LPU產品HyperThought，採用由該公司自主開發的最新3.0版語言指令集架構(Language Instruction Set Architecture，LISA)，強調對整合影像、語音、文字等不同資料的多模態AI，多模型並行執行(Concurrent)以及代理式AI (Agentic AI，即AI Agent)應用的支援，還有在硬體資源受限邊緣裝置上的順暢運作。

專為LLM推論應用最佳化的LPU

屬於通用性運算解決方案的GPU是目前大多數AI模型訓練或推論任務採用的加速方法，但其高功耗與記憶體頻寬等限制，在以推論為主的邊緣AI應用上並非最佳解決方案；Skymizer行銷長暨執行副總經理魏國章表示，該公司的LPU IP與LISA指令集架構專為LLM推論應用打造，能實現在運算效率與功耗表現上都有大幅提升、部署彈性化的AI推論任務專屬ASIC，降低邊緣AI應用開發任務的複雜度與成本。

Skymizer技術長唐文力則從「小巧、有效、極致、安全」四個面向強調其LPU的優勢，除了以獨特的量化技術壓縮模型並維持其精度，讓記憶體需求大幅減少的同時依然能支援高品質推論結果，藉此縮小晶片本身面積，也著重晶片的PPAC (功耗、性能、面積與成本)平衡，最大化硬體利用率，以剛剛好的尺寸、合理的功耗、最划算的成本，來提供足夠的算力；他指出，Skymizer的LPU在100 GB/s頻寬下，只需0.5 TOPs算力(以精準表示晶片面積)，即可達到30 tokens/second的推論效能，而且只需要採用成熟的28奈米製程，在相同大小的語言模型推論表現上不輸給其他採用先進製程節點的AI晶片。

圖片來源：Skymizer

強調對AI開發者社群的支援

為了進一步降低 AI 晶片開發門檻，Skymizer 正積極擴展其技術生態系，與 IC 設計公司、系統整合商及終端應用服務提供者緊密合作，針對不同應用場景提供最佳化的解決方案。此外，Skymizer 也非常重視對開發者社群的支援，考量到未來不同垂直領域的AI代理將大量崛起，魏國章透露，該公司將透過技術資源共享與標準化的推動，與全球各地的開發者積極互動，加速相關應用的普及。

在即將舉行的Computex期間，Skymizer將與業界夥伴合作以FPGA平台展示LPU執行多模態推論與AI Agent的工作流程、更多LISA 3.0版技術細節與SoC整合實務說明，還有HyperThought軟體工具與開發堆疊預覽。而以半導體晶片約18到24個月的開發週期來看，今年應該也可以看到首波內含其第一代LPU EdgeThought的ASIC或智慧產品問世，我們將持續密切關注，讓開發者夥伴們能有機會見證LPU帶來的AI推論加速實例！