加速英特爾GPU上的LLM:實用的動態量化指南
動態量化是一種強大的最佳化技術,能顯著提升Transformer模型在Intel GPU的性能,包括搭載於Lunar Lake、Arrow Lake處理器,配備XMX引擎的硬體,以及Alchemist、Battlemage等系列獨立顯卡。
OpenVINO 2024.0:為開發者提供更高性能、更強大支援
OpenVINO 2024.0來了!我們很高興在這個版本推出一系列強化功能,目標是在快速發展的AI領域賦予開發者更強大的能力;新版本透過動態量化、改善的GPU最佳化以及對混合專家(MoE)模型架構的支援,增強了大語言模型(LLM)的性能。OpenVINO 2024.0讓開發者能有效利用AI加速,這也要感謝來自社群的持續貢獻。