如何選擇最適合你的AI推論模型量化方案?
AI推論模型主要透過量化(Quantization)、修剪(Pruning)和聚類(Clustering)三種方式進行最佳化,本文提出一個決策樹,幫助你選擇最適合的量化技術。
活用IPEX和Intel GPU加速大型語言模型訓練效率
以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品,可提供最佳化功能大幅提升運作效能。例如透過PyTorch的
【Maker 玩 AI】Edge Impulse 搭配 XIAO ESP32-S3 實作影像分類專題
說到近年最強勢的邊緣端 ML 平台,莫過於 Edge Impulse 莫屬了!軟體的易用性搭配硬體的廣泛支援,造就 Edge Impulse 在社大社群上的討論度都勇冠群雄。本篇筆者將實際操作 Edge Impulse 影像分類模型訓練,並且佈署到 XIAO ESP32S3 Sense 這個熱門 MCU 開發板上!
【CAVEDU講堂】MyGPTs:做一個具備指定技能的專屬 ChatGPT 吧!
近期OpenAI dev day 所發表各項更新中,最令人讚嘆的就是 GPTs,任何人都可以透過 GPTs 來做出專屬的 GPT 應用,本文將說明如何使用 GPTs editor 來自行設計出您專屬的 ChatGPT。
利用Intel平台提升LLM微調與訓練效率:ResNet50+LoRA範例
本文將說明如何善用英特爾(Intel)所研發的新產品和相關技術,來提升AI模型的訓練效率,以便提供更優質的推論功能。為了循序漸進介紹上述的新產品及其相關的使用技術,本文先從大家熟悉ResNet50圖像分類模型做為起步範例,並搭配LoRA來進行外掛訓練,以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。
助力廣泛Edge AI應用落地 Arm Helium架構Cortex-M添「小尖兵」
繼分別於2020年與2022年發表的Cortex-M55、Cortex-M85,以及可搭配Cortex-M系列平台的微神經網路處理器(microNPU) Ethos-U55,Arm近日發表其支援Helium架構的Cortex-M系列最新處理器核心Cortex-M52,旨在為需求更低功耗與成本方案的電池供電IoT裝置帶來更強化的AI功能,並催生更多創新Edge AI應用落地。
