【Arm的AI世界】以TinyML為基礎的高效率嵌入式電腦視覺
本文將透過在配備Ethos-U55 NPU的現代微控制器上執行兩個TinyML應用,來展示NPU的效能優勢。我們將分別在採用和不採用Ethos-U55 NPU的微控制器上運作應用中所使用的 ML模型,以此對推論延遲進行基準測試。
TinyML潛力股!MicroFlow挑戰TensorFlow Lite for Microcontrollers
近期有個MicroFlow試圖挑戰TFLM,包含相同模型條件下的推論速度、記憶體佔量、用電量、最低可執行使用的硬體水準等。本篇文章會針對MicroFlow與TFLM,進行簡單的效能對比。
【技術導讀】Google推出Web API技術,用瀏覽器運行LLM沒問題!
Google推出網頁版 LLM 推論API,使在瀏覽器中運行小型大型語言模型(LLMs)成為可能。此一Web API技術的特色通過 WebAssembly 和 WebGPU 效率地利用設備端的 GPU 來加速運算,克服了記憶體限制,甚至可以在瀏覽器中運行更大的模型,例如Gemma 1.1 7B。
【Arm的AI世界】Python在Arm平台上的應用
這篇文章將概述Python在Arm平台上--主要是在Linux與Windows作業系統上--的應用。Python程式語言通用性極高、相當受歡迎,可用在不同的環境中…
Arm新一代Ethos-U NPU與IoT參考設計平台亮相
Arm的嵌入式AI加速器Ethos-U系列NPU再添新成員U85;與上一代產品相比,Ethos-U85的效能號稱提升四倍,並提高了20%功耗效率…
【Arm的AI世界】利用Arm機器學習嵌入式評估套件快速部署Edge AI應用
Cortex-M55處理器是Arm Cortex-M處理器中人工智慧功能最強大的,也是第一顆基於Arm Helium技術的CPU。儘管Cortex-M55在微小的微處理器上運作機器學習模型速度已經很快了,不過它與Arm Ethos-U55 microNPU完成整合後,在嵌入式系統中最快可讓機器學習推論速度提升480倍。本文將告訴大家如何運用開源的Arm機器學習嵌入式評估套件快速打造並部署嵌入式機器學習應用!