AI PC市場大餅浮現,Intel、AMD為開發者做好準備了?
迎接2024的AI PC世代,Intel及AMD都已做好準備,分別提出自己的軟、硬體解決方案,希望拉攏更多開發者在其平台上做出能發揮AIGC、LLM模型的創新應用。
如何選擇最適合你的AI推論模型量化方案?
AI推論模型主要透過量化(Quantization)、修剪(Pruning)和聚類(Clustering)三種方式進行最佳化,本文提出一個決策樹,幫助你選擇最適合的量化技術。
TensorFlow Lite全面支援半精度(FP16)運算,可將設備端推論性能翻倍
TensorFlow團隊宣佈,TensorFlow Lite 和 XNNPack 全面支援FP16的半精度推論(Half Precision Inference),同時指出,透過在 ARM CPU 上啟用半精度推論,能將TensorFlow Lite 的XNNPack backed的浮點推論性能提高一倍。
目前有哪些大型程式語言模型 (Code LLM)可用?StarCoder、Code Llama、Codex!
本文將介紹開發者正關注大型程式語言模型 – Code LLM,包括Hugging Face推的StarCoderBase/StarCoder、Meta推的Code Llama,以及OpenAI推的Codex,未來將成為開發者重要的編碼助手。
專為智慧家庭視訊監控設計的本地端開源NVR系統 – Frigate
來介紹一款開源的網路錄影機 (NVR) 系統- Frigate,這是一款專為開源智慧家庭平台 – Home Assistant )設計的完整本地端 NVR,具有 AI 物件偵測功能。