OpenVINO工具套件AI程式講座
|
聚焦Edge AI Lattice挾龐大生態系資源拉攏開發社群
12 月22

聚焦Edge AI Lattice挾龐大生態系資源拉攏開發社群

對所有相關解決方案供應商來說,正準備起飛的Edge AI市場究竟能不能成氣候,來自開發者們的回饋絕對是不可忽視的寶貴資訊──這或許也是低功耗可程式化設計元件供應商Lattice Semiconductor在2023年首度舉辦「萊迪思開發者大會」(Lattice Developers Conference)的主要原因之一。

Read More
如何選擇最適合你的AI推論模型量化方案?
12 月10

如何選擇最適合你的AI推論模型量化方案?

AI推論模型主要透過量化(Quantization)、修剪(Pruning)和聚類(Clustering)三種方式進行最佳化,本文提出一個決策樹,幫助你選擇最適合的量化技術。

Read More
TensorFlow Lite全面支援半精度(FP16)運算,可將設備端推論性能翻倍
12 月07

TensorFlow Lite全面支援半精度(FP16)運算,可將設備端推論性能翻倍

TensorFlow團隊宣佈,TensorFlow Lite 和 XNNPack 全面支援FP16的半精度推論(Half Precision Inference),同時指出,透過在 ARM CPU 上啟用半精度推論,能將TensorFlow Lite 的XNNPack backed的浮點推論性能提高一倍。

Read More
活用IPEX和Intel GPU加速大型語言模型訓練效率
12 月05

活用IPEX和Intel GPU加速大型語言模型訓練效率

以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品,可提供最佳化功能大幅提升運作效能。例如透過PyTorch的裝置來發揮Intel GPU的潛能,加速AI模型的訓練和推論。本篇文章將說明如何善用上述兩項產品來實現效能的大幅提升,仍然以微調訓練的範例來展現它們的特性,並說明其使用方法和流程。

Read More
目前有哪些大型程式語言模型 (Code LLM)可用?StarCoder、Code Llama、Codex!
11 月23

目前有哪些大型程式語言模型 (Code LLM)可用?StarCoder、Code Llama、Codex!

本文將介紹開發者正關注大型程式語言模型 – Code LLM,包括Hugging Face推的StarCoderBase/StarCoder、Meta推的Code Llama,以及OpenAI推的Codex,未來將成為開發者重要的編碼助手。

Read More
【白皮書導讀】Arm Ethos-U NPU的Vela Compiler開發環境及流程
11 月07

【白皮書導讀】Arm Ethos-U NPU的Vela Compiler開發環境及流程

Edge AI的必爭之地已走向嵌入式系統,如何架構低功耗、高效能的嵌入式AI運算架構呢?micro NPU + MCU/MPU看來是不錯的選項,本文將介紹Arm Ethos-U NPU的Vela Compiler開發環境及流程。

Read More