|

用OpenVINO與NNCF最佳化Whisper語音辨識模型

本文示範如何以OpenVINO與Optimum Intel載入並執行Whisper與Distil-Whisper模型進行音訊轉錄任務,以及如何使用NNCF對這些模型執行INT8訓練後量化;接著在橫跨多種CPU的裝置上以大規模語音轉文字資料集評估這些模型。

Read More

【Arm的AI世界】能將神經網路提升至更高境界的ML推論諮詢工具

Arm正在運用以支援AI快速發展為設計目標的解決方案,來打造邁向未來的路徑。其中的一項挑戰,是讓相關社群能夠取用新興的技術。在這篇部落格文章中我們將介紹Arm機器學習推論諮詢工具(Arm ML Inference Advisor,Arm MLIA),並讓大家看到如何運用它來提升Arm IP的模型效能。我們同時也會解釋一些相關的前置作業,以及為何這些作業如此重要。

Read More

以可重構NPU實現邊緣應用 耐能致力推動AI民主化

成立於2015年、擁有台灣血統的AI晶片設計業者耐能智慧(Kneron),於2023年底針對企業應用發表以該公司神經網路處理器(NPU)技術為基礎的KNEO 300系列EDGE GPT邊緣裝置,主打可藉由在裝置本地端(不須連結網際網路)運作GPT大語言模型,為使用者實現低延遲、高效率且具備隱私保護與資料安全性的各種Edge AI推論應用,在市場上掀起一波討論熱潮…

Read More

聚焦Edge AI Lattice挾龐大生態系資源拉攏開發社群

對所有相關解決方案供應商來說,正準備起飛的Edge AI市場究竟能不能成氣候,來自開發者們的回饋絕對是不可忽視的寶貴資訊──這或許也是低功耗可程式化設計元件供應商Lattice Semiconductor在2023年首度舉辦「萊迪思開發者大會」(Lattice Developers Conference)的主要原因之一。

Read More

OpenVINO 2023.2版本發佈:讓生成式AI在實際場景中更易用

OpenVINO發佈最新2023.2版本了!與之前的版本一樣,在提高性能、增加對新AI模型的支援,以及構建基礎設施和模型快取等不同元件方面都有重大改進,除了並導入在CPU和整合顯卡上運作權重量化為int8和int4精度的LLM的能力,也更新了模型轉換和最佳化工具;OpenVINO產品架構師Yury Gorbachev將在本文詳細介紹新版本的優勢。

Read More
No more posts to show