認識IPEX-LLM:LLM模型最佳化的PyTorch工具
IPEX-LLM是英特爾為其 XPU(Xeon/Core/Flex/Arc/PVC)提出的低位元 LLM 開源(Apache 2.0授權)函式庫,是專為 PyTorch 生態打造的LLM執行擴充套件,具有廣泛的模型支援、低延遲和記憶體佔用小等優勢。
ADI低功耗AI MCU – MAX78000,適用電池供電環境
Analog Devices(ADI)推出的MAX78000,是一款針對Edge AI應用設計的超低功耗微控制器(Microcontroller Unit, MCU),專為在資源有限的邊緣設備上執行神經網路推論而打造。
耐能與Spark合作推出AI VMS整合方案
隨著AI技術快速演進,傳統VMS(Video Management System)監控管理架構已無法滿足現代社會對於安全與效率的雙重要求。為此,Spark迪維科與耐能(Kneron)合作,推出結合可重構式NPU與AI辨識模型的全新一代AI VMS解決方案──Argo。
APMIC宣佈Formosa-1語言模型已與MCP協議深度整合
APMIC與Twinkle AI社群開發之輕量級3B參數語言模型「Formosa-1」,現已可與模型上下文協定(MCP)進行深度整合。
【Arm的AI世界】以ExecuTorch和KleidiAI執行LLM推論 充分釋放行動端AI潛力!
受惠於Arm和Meta工程團隊的協作,AI開發人員可在具有i8mm ISA擴展的基於Armv9架構之Arm Cortex-A CPU上部署Llama量化模型,運作速度最高可提升20%;本文將分享更多細節,包括…