Skymizer為邊緣裝置LLM處理打造加速器晶片IP

Posted By MakerPRO編輯部 on 5 月 31, 2024 in AIGC, Edge AI, Edge AI解決方案, Edge AI開發地圖, LLM, 新聞稿, 產品新訊 | 0 comments

聚焦邊緣裝置對生成式AI大語言模型(LLM)的運作需求，以專有AI編譯器軟體技術起家的Skymizer (臺灣發展軟體科技)，宣布跨足晶片硬體IP市場，發表EdgeThought (ET2)系列加速器IP，號稱採用革命性的軟硬體協同設計，以該公司的編譯器技術為核心，結合為LLM處理量身打造的運算與記憶體架構，將能為從物聯網(IoT)、手機、PC、汽車到邊緣伺服器等裝置，提供輕鬆執行各種LLM模型的解決方案，包括能支援Meta最新Llama3 8B模型

根據Skymizer共同創辦人暨技術長唐文力在產品發表會上的介紹，ET2的架構屬於語言處理單元(LPU，編按：由美國AI晶片新創Groq所發明，但該公司產品聚焦雲端推論應用)，針對邊緣應用進行了最佳化設計，將延遲最小化、處理量最大化，並減少對記憶體的佔用，且不須非常高的算力、功耗與成本，能應用於手機或像是電視棒等裝置，讓各種消費性電子設備變身成為能與使用者流暢對話的智慧產品。

ET2號稱具備可擴展性和靈活性，能支援多種LLM應用，根據不同尺寸和性能需求進行擴展，包括多使用者和多批次，讓較高性能的邊緣伺服器提升處理量。Skymizer行銷總監暨執行副總裁魏國章補充指出，該系列IP不需要採用先進半導體製程，能使用成本更低的成熟技術與特殊應用記憶體產業，可望成為產業遊戲規則的改變者；該公司並同時為LPU IP推出了包括軟體堆疊在內的Skymizer LLM System平台，以支援各種應用的ASIC開發。

Skymizer表示，EdgeThought IP現已開放授權，不需要經過大規模修改即可與現有硬體配置整合，目前該公司已經開始與領先的半導體公司和裝置製造商合作，積極將此新技術技術推向市場。對於Skymizer在Edge AI領域所扮演的角色以及能提供開發者的相關技術資源，MakerPRO將持續為社群朋友們密切關注，敬請期待未來的更多報導！