【Arm的AI世界】以ExecuTorch和KleidiAI執行LLM推論 充分釋放行動端AI潛力！
受惠於Arm和Meta工程團隊的協作，AI開發人員可在具有i8mm ISA擴展的基於Armv9架構之Arm Cortex-A CPU上部署Llama量化模型，運作速度最高可提升20%；本文將分享更多細節，包括…
用OpenVINO與NNCF最佳化Whisper語音辨識模型
本文示範如何以OpenVINO與Optimum Intel載入並執行Whisper與Distil-Whisper模型進行音訊轉錄任務，以及如何使用NNCF對這些模型執行INT8訓練後量化；接著在橫跨多種CPU的裝置上以大規模語音轉文字資料集評估這些模型。
【Arm的AI世界】能將神經網路提升至更高境界的ML推論諮詢工具
Arm正在運用以支援AI快速發展為設計目標的解決方案，來打造邁向未來的路徑。其中的一項挑戰，是讓相關社群能夠取用新興的技術。在這篇部落格文章中我們將介紹Arm機器學習推論諮詢工具(Arm ML Inference Advisor，Arm MLIA)，並讓大家看到如何運用它來提升Arm IP的模型效能。我們同時也會解釋一些相關的前置作業，以及為何這些作業如此重要。
OpenVINO 2023.2版本發佈：讓生成式AI在實際場景中更易用
OpenVINO發佈最新2023.2版本了！與之前的版本一樣，在提高性能、增加對新AI模型的支援，以及構建基礎設施和模型快取等不同元件方面都有重大改進，除了並導入在CPU和整合顯卡上運作權重量化為int8和int4精度的LLM的能力，也更新了模型轉換和最佳化工具；OpenVINO產品架構師Yury Gorbachev將在本文詳細介紹新版本的優勢。
Nvidia TAO工具套件可為Arm Ethos-U NPU優化AI模型
除了簡化針對終端應用進行模型最佳化的過程，讓使用者能在不犧牲太多精度的情況下取得3至4倍的性能，Nvidia的TAO工具套件還提供了高效率的Ethos-U NPU部署途徑，為在Arm架構邊緣裝置實現AI功能的龐大潛力開啟了一扇大門…
【活動報導】聚焦新版OpenVINO Intel全球技術專家分享最新AI開發趨勢
英特爾舉辦的2023年首場DevCon系列線上講座，由重量級講者與近300位聽眾分享過去五年來OpenVINO團隊持續推動技術進展以及擁抱開源的理念，並介紹2023.0版本OpenVINO的技術亮點，及如何利用該工具套件加速部署當前最夯的生成式AI模型，實現高性能推論應用。