【Arm的AI世界】以ExecuTorch和KleidiAI執行LLM推論 充分釋放行動端AI潛力!
受惠於Arm和Meta工程團隊的協作,AI開發人員可在具有i8mm ISA擴展的基於Armv9架構之Arm Cortex-A CPU上部署Llama量化模型,運作速度最高可提升20%;本文將分享更多細節,包括…
【Arm的AI世界】三步驟輕鬆在Ethos-U85上使用PyTorch與ExecuTorch
Arm透過在Ethos-U85上支援ExecuTorch測試版,為開發人員建構物聯網邊緣端應用提供了更多支援。開發人員可以借助ExecuTorch,高效率地部署原生開發的PyTorch模型,基於Arm平台建構出智慧且回應迅速的IoT解決方案。
【Arm的AI世界】運用小語言模型在邊緣端實現生成式AI
儘管大語言模型(LLM)更廣為人知,但由於小語言模型(SLM)能夠以更少資源、較低成本提供出色的效能,而且訓練起來也更為簡易且成本更低,因此受到越來越多的關注;Arm展示了搭載Ethos-U85 NPU的系統晶片解決方案如何在嵌入式硬體上運作小語言模型。
【Arm的AI世界】供機器學習邊緣裝置使用的軟體、工具與生態系
Arm是如何為開發人員與物聯網軟體生態系提供智慧、節能的機器學習邊緣裝置?物聯網市場正在穩定成長,全新的AI技術創新更是讓人眼界大開。Arm的物聯網事業部致力於把AI創新擴展到那些通常是由微控制器驅動、小型且條件受限的機器學習邊緣裝置。
【Arm的AI世界】以TinyML為基礎的高效率嵌入式電腦視覺
本文將透過在配備Ethos-U55 NPU的現代微控制器上執行兩個TinyML應用,來展示NPU的效能優勢。我們將分別在採用和不採用Ethos-U55 NPU的微控制器上運作應用中所使用的 ML模型,以此對推論延遲進行基準測試。