【Edge AI專欄】當MCU遇上NPU能擦出什麼新火花？
為了讓大家更了解 MCU 加上 Micro NPU 究竟能幫大家帶來什麼好處，本文就以Seeed Studio和奇景光電合作的 Grove Vision AI Module v2 開發板及 Seeed SenseCraft AI (TinyML) 開發平台，帶著大家一起來玩玩微型 AI 電腦視覺應用。
以LLaVA-NeXT和NNCF先進量化技術掌握多模態AI
在這篇文章中，我們將探索LLaVA-NeXT多模態聊天機器人Notebook，學習如何轉換和最佳化LLaVA-NeXT模型來打造多模態聊天機器人。此外，我們將探討如何在LLM部分應用有狀態轉換(stateful transformation)和使用NNCF進行權重壓縮和量化等模型最佳化技術。
【Arm的AI世界】以ExecuTorch與TOSA讓PyTorch在Arm平台順利運作
Arm與Meta密切合作在ExecuTorch導入對Arm裝置的初步支援，以Tensor運算子集架構(TOSA)為基礎擷取類神經網路，並利用Ethos NPU在行動及嵌入式平台加速關鍵的ML工作負載…快來了解如何使用PyTorch及ExecuTorch以TOSA將圖形匯出至Arm平台！
【Arm的AI世界】利用Arm機器學習嵌入式評估套件快速部署Edge AI應用
Cortex-M55處理器是Arm Cortex-M處理器中人工智慧功能最強大的，也是第一顆基於Arm Helium技術的CPU。儘管Cortex-M55在微小的微處理器上運作機器學習模型速度已經很快了，不過它與Arm Ethos-U55 microNPU完成整合後，在嵌入式系統中最快可讓機器學習推論速度提升480倍。本文將告訴大家如何運用開源的Arm機器學習嵌入式評估套件快速打造並部署嵌入式機器學習應用！
如何利用低位元量化技術進一步提升大模型推論性能
相比運算量的增加，大模型推論速度更容易受到記憶體頻寬的影響，導致算力資源無法得到充分發揮，進而影響性能；低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一，本文將探討低位元量化技術如何幫助LLM提升性能，以及新版OpenVINO對於低位元量化技術的支援。
如何選擇最適合你的AI推論模型量化方案？
AI推論模型主要透過量化（Quantization）、修剪（Pruning）和聚類（Clustering）三種方式進行最佳化，本文提出一個決策樹，幫助你選擇最適合的量化技術。
.jpg)
.jpg)