【Arm的AI世界】以Neoverse架構CPU解放RAG技術實力
本文將探討RAG的效能優勢,並分享在基於Arm Neoverse平台的Google Axion處理器上建構 RAG 應用的指導,以最佳化AI工作負載。
【Arm的AI世界】輕鬆運用虛擬平台與嵌入式評估套件加速終端AI應用開發
開發機器學習(ML)應用頗具挑戰,尤其是涉及專用硬體。好消息是,Corstone-320固定虛擬平台(FVP)簡化了這個過程,無需實體的硬體即可開發和測試ML應用。
【Arm的AI世界】以ExecuTorch和KleidiAI執行LLM推論 充分釋放行動端AI潛力!
受惠於Arm和Meta工程團隊的協作,AI開發人員可在具有i8mm ISA擴展的基於Armv9架構之Arm Cortex-A CPU上部署Llama量化模型,運作速度最高可提升20%;本文將分享更多細節,包括…
【Arm的AI世界】三步驟輕鬆在Ethos-U85上使用PyTorch與ExecuTorch
Arm透過在Ethos-U85上支援ExecuTorch測試版,為開發人員建構物聯網邊緣端應用提供了更多支援。開發人員可以借助ExecuTorch,高效率地部署原生開發的PyTorch模型,基於Arm平台建構出智慧且回應迅速的IoT解決方案。
【Arm的AI世界】運用小語言模型在邊緣端實現生成式AI
儘管大語言模型(LLM)更廣為人知,但由於小語言模型(SLM)能夠以更少資源、較低成本提供出色的效能,而且訓練起來也更為簡易且成本更低,因此受到越來越多的關注;Arm展示了搭載Ethos-U85 NPU的系統晶片解決方案如何在嵌入式硬體上運作小語言模型。
【Arm的AI世界】供機器學習邊緣裝置使用的軟體、工具與生態系
Arm是如何為開發人員與物聯網軟體生態系提供智慧、節能的機器學習邊緣裝置?物聯網市場正在穩定成長,全新的AI技術創新更是讓人眼界大開。Arm的物聯網事業部致力於把AI創新擴展到那些通常是由微控制器驅動、小型且條件受限的機器學習邊緣裝置。