如何選擇最適合你的AI推論模型量化方案？
AI推論模型主要透過量化（Quantization）、修剪（Pruning）和聚類（Clustering）三種方式進行最佳化，本文提出一個決策樹，幫助你選擇最適合的量化技術。
TensorFlow Lite全面支援半精度(FP16)運算，可將設備端推論性能翻倍
TensorFlow團隊宣佈，TensorFlow Lite 和 XNNPack 全面支援FP16的半精度推論（Half Precision Inference），同時指出，透過在 ARM CPU 上啟用半精度推論，能將TensorFlow Lite 的XNNPack backed的浮點推論性能提高一倍。
活用IPEX和Intel GPU加速大型語言模型訓練效率
以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品，可提供最佳化功能大幅提升運作效能。例如透過PyTorch的
目前有哪些大型程式語言模型 （Code LLM）可用？StarCoder、Code Llama、Codex！
本文將介紹開發者正關注大型程式語言模型 – Code LLM，包括Hugging Face推的StarCoderBase/StarCoder、Meta推的Code Llama，以及OpenAI推的Codex，未來將成為開發者重要的編碼助手。
【白皮書導讀】Arm Ethos-U NPU的Vela Compiler開發環境及流程
Edge AI的必爭之地已走向嵌入式系統，如何架構低功耗、高效能的嵌入式AI運算架構呢？micro NPU + MCU/MPU看來是不錯的選項，本文將介紹Arm Ethos-U NPU的Vela Compiler開發環境及流程。
Nvidia TAO工具套件可為Arm Ethos-U NPU優化AI模型
除了簡化針對終端應用進行模型最佳化的過程，讓使用者能在不犧牲太多精度的情況下取得3至4倍的性能，Nvidia的TAO工具套件還提供了高效率的Ethos-U NPU部署途徑，為在Arm架構邊緣裝置實現AI功能的龐大潛力開啟了一扇大門…