【Arm的AI世界】以ExecuTorch與TOSA讓PyTorch在Arm平台順利運作
Arm與Meta密切合作在ExecuTorch導入對Arm裝置的初步支援，以Tensor運算子集架構(TOSA)為基礎擷取類神經網路，並利用Ethos NPU在行動及嵌入式平台加速關鍵的ML工作負載…快來了解如何使用PyTorch及ExecuTorch以TOSA將圖形匯出至Arm平台！
【Arm的AI世界】利用Arm機器學習嵌入式評估套件快速部署Edge AI應用
Cortex-M55處理器是Arm Cortex-M處理器中人工智慧功能最強大的，也是第一顆基於Arm Helium技術的CPU。儘管Cortex-M55在微小的微處理器上運作機器學習模型速度已經很快了，不過它與Arm Ethos-U55 microNPU完成整合後，在嵌入式系統中最快可讓機器學習推論速度提升480倍。本文將告訴大家如何運用開源的Arm機器學習嵌入式評估套件快速打造並部署嵌入式機器學習應用！
如何利用低位元量化技術進一步提升大模型推論性能
相比運算量的增加，大模型推論速度更容易受到記憶體頻寬的影響，導致算力資源無法得到充分發揮，進而影響性能；低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一，本文將探討低位元量化技術如何幫助LLM提升性能，以及新版OpenVINO對於低位元量化技術的支援。
如何選擇最適合你的AI推論模型量化方案？
AI推論模型主要透過量化（Quantization）、修剪（Pruning）和聚類（Clustering）三種方式進行最佳化，本文提出一個決策樹，幫助你選擇最適合的量化技術。
【Edge AI專欄】 親愛的我把AI模型縮小了- 模型減量與壓縮技術簡介
雖然我們難以像蟻人或黃蜂女一樣把自己縮小而保持生理機能不變，但把超巨大的AI模型縮小而保持推論精度不變，還是有很多方法可以達到的。接下來我們就來幫大家簡單介紹一下幾種常見技術。
線上學習
