運用BF16與NHWC技術實現進階版LLM微調訓練最佳化
本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術，來最佳化大型AI模型的訓練速度與記憶體節省，並延續以
如何利用低位元量化技術進一步提升大模型推論性能
相比運算量的增加，大模型推論速度更容易受到記憶體頻寬的影響，導致算力資源無法得到充分發揮，進而影響性能；低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一，本文將探討低位元量化技術如何幫助LLM提升性能，以及新版OpenVINO對於低位元量化技術的支援。
如何選擇最適合你的AI推論模型量化方案？
AI推論模型主要透過量化（Quantization）、修剪（Pruning）和聚類（Clustering）三種方式進行最佳化，本文提出一個決策樹，幫助你選擇最適合的量化技術。
TensorFlow Lite全面支援半精度(FP16)運算，可將設備端推論性能翻倍
TensorFlow團隊宣佈，TensorFlow Lite 和 XNNPack 全面支援FP16的半精度推論（Half Precision Inference），同時指出，透過在 ARM CPU 上啟用半精度推論，能將TensorFlow Lite 的XNNPack backed的浮點推論性能提高一倍。
活用IPEX和Intel GPU加速大型語言模型訓練效率
以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品，可提供最佳化功能大幅提升運作效能。例如透過PyTorch的
【Maker 玩 AI】Edge Impulse 搭配 XIAO ESP32-S3 實作影像分類專題
說到近年最強勢的邊緣端 ML 平台，莫過於 Edge Impulse 莫屬了！軟體的易用性搭配硬體的廣泛支援，造就 Edge Impulse 在社大社群上的討論度都勇冠群雄。本篇筆者將實際操作 Edge Impulse 影像分類模型訓練，並且佈署到 XIAO ESP32S3 Sense 這個熱門 MCU 開發板上！
如何客製化企業 RAG 知識庫？— 從資料庫到知識整合的實戰技術
