聚焦Edge AI Lattice挾龐大生態系資源拉攏開發社群
對所有相關解決方案供應商來說,正準備起飛的Edge AI市場究竟能不能成氣候,來自開發者們的回饋絕對是不可忽視的寶貴資訊──這或許也是低功耗可程式化設計元件供應商Lattice Semiconductor在2023年首度舉辦「萊迪思開發者大會」(Lattice Developers Conference)的主要原因之一。
如何選擇最適合你的AI推論模型量化方案?
AI推論模型主要透過量化(Quantization)、修剪(Pruning)和聚類(Clustering)三種方式進行最佳化,本文提出一個決策樹,幫助你選擇最適合的量化技術。
TensorFlow Lite全面支援半精度(FP16)運算,可將設備端推論性能翻倍
TensorFlow團隊宣佈,TensorFlow Lite 和 XNNPack 全面支援FP16的半精度推論(Half Precision Inference),同時指出,透過在 ARM CPU 上啟用半精度推論,能將TensorFlow Lite 的XNNPack backed的浮點推論性能提高一倍。
活用IPEX和Intel GPU加速大型語言模型訓練效率
以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品,可提供最佳化功能大幅提升運作效能。例如透過PyTorch的
目前有哪些大型程式語言模型 (Code LLM)可用?StarCoder、Code Llama、Codex!
本文將介紹開發者正關注大型程式語言模型 – Code LLM,包括Hugging Face推的StarCoderBase/StarCoder、Meta推的Code Llama,以及OpenAI推的Codex,未來將成為開發者重要的編碼助手。
【白皮書導讀】Arm Ethos-U NPU的Vela Compiler開發環境及流程
Edge AI的必爭之地已走向嵌入式系統,如何架構低功耗、高效能的嵌入式AI運算架構呢?micro NPU + MCU/MPU看來是不錯的選項,本文將介紹Arm Ethos-U NPU的Vela Compiler開發環境及流程。