【Maker 玩 AI】Grove Vision AI 模組讓 Arduino 也能玩 YOLO 模型
日前 Seeed Studio 推出相同核心的 Grove Vision AI 智慧鏡頭模組，筆者便以行動支持國產晶片入手一片進行測試！本篇文章會介紹如何透過 Grove Vision AI 使Arduino也能玩轉YOLO 模型！
AI PC市場大餅浮現，Intel、AMD為開發者做好準備了？
迎接2024的AI PC世代，Intel及AMD都已做好準備，分別提出自己的軟、硬體解決方案，希望拉攏更多開發者在其平台上做出能發揮AIGC、LLM模型的創新應用。
運用BF16與NHWC技術實現進階版LLM微調訓練最佳化
本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術，來最佳化大型AI模型的訓練速度與記憶體節省，並延續以
如何利用低位元量化技術進一步提升大模型推論性能
相比運算量的增加，大模型推論速度更容易受到記憶體頻寬的影響，導致算力資源無法得到充分發揮，進而影響性能；低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一，本文將探討低位元量化技術如何幫助LLM提升性能，以及新版OpenVINO對於低位元量化技術的支援。
如何選擇最適合你的AI推論模型量化方案？
AI推論模型主要透過量化（Quantization）、修剪（Pruning）和聚類（Clustering）三種方式進行最佳化，本文提出一個決策樹，幫助你選擇最適合的量化技術。
TensorFlow Lite全面支援半精度(FP16)運算，可將設備端推論性能翻倍
TensorFlow團隊宣佈，TensorFlow Lite 和 XNNPack 全面支援FP16的半精度推論（Half Precision Inference），同時指出，透過在 ARM CPU 上啟用半精度推論，能將TensorFlow Lite 的XNNPack backed的浮點推論性能提高一倍。