【Arm的AI世界】以ExecuTorch和KleidiAI執行LLM推論 充分釋放行動端AI潛力!
受惠於Arm和Meta工程團隊的協作,AI開發人員可在具有i8mm ISA擴展的基於Armv9架構之Arm Cortex-A CPU上部署Llama量化模型,運作速度最高可提升20%;本文將分享更多細節,包括…
2025年CES展AI類創新獎觀察
每年一月的消費性電子展(CES)都會有創新獎的頒佈,雖然獎的頒佈有些浮濫,似乎在於增添展會氣勢,但有時有些獎確實具創意,值得參考,本文就人工智慧(AI)類的獲獎品進行進一步觀察。
【Edge AI專欄】當MCU遇上NPU能擦出什麼新火花?
為了讓大家更了解 MCU 加上 Micro NPU 究竟能幫大家帶來什麼好處,本文就以Seeed Studio和奇景光電合作的 Grove Vision AI Module v2 開發板及 Seeed SenseCraft AI (TinyML) 開發平台,帶著大家一起來玩玩微型 AI 電腦視覺應用。
以LLaVA-NeXT和NNCF先進量化技術掌握多模態AI
在這篇文章中,我們將探索LLaVA-NeXT多模態聊天機器人Notebook,學習如何轉換和最佳化LLaVA-NeXT模型來打造多模態聊天機器人。此外,我們將探討如何在LLM部分應用有狀態轉換(stateful transformation)和使用NNCF進行權重壓縮和量化等模型最佳化技術。
【Arm的AI世界】以ExecuTorch與TOSA讓PyTorch在Arm平台順利運作
Arm與Meta密切合作在ExecuTorch導入對Arm裝置的初步支援,以Tensor運算子集架構(TOSA)為基礎擷取類神經網路,並利用Ethos NPU在行動及嵌入式平台加速關鍵的ML工作負載…快來了解如何使用PyTorch及ExecuTorch以TOSA將圖形匯出至Arm平台!
【Arm的AI世界】利用Arm機器學習嵌入式評估套件快速部署Edge AI應用
Cortex-M55處理器是Arm Cortex-M處理器中人工智慧功能最強大的,也是第一顆基於Arm Helium技術的CPU。儘管Cortex-M55在微小的微處理器上運作機器學習模型速度已經很快了,不過它與Arm Ethos-U55 microNPU完成整合後,在嵌入式系統中最快可讓機器學習推論速度提升480倍。本文將告訴大家如何運用開源的Arm機器學習嵌入式評估套件快速打造並部署嵌入式機器學習應用!