Hugging Face上的模型專區
作為探索並取得 AI 模型的首選平台，Hugging Face越來越受歡迎。現在可以在Hugging Face上找到一系列完成預先最佳化的OpenVINO模型，從而能夠更輕鬆快速地取得、運作模型，其中包括了不同精度的模型如 Phi-3、Mistral、Mixtral、LCM Dreamshaper、starcoder2 等。
該專區所有模型請參閱 Hugging Face網站，可以在模型卡中找到有關每個模型的更多資訊，包括描述以及如何使用Optimum-Intel或OpenVINO GenAI軟體套件執行模型推論，此新增功能旨在強化 AI 模型的可取得性，並加速模型的整合與部署。
性能提升
改善了 Intel 獨立GPU上的 LLM 性能
英特爾的獨立GPU系列為運算密集型 AI 任務提供加速處理能力，OpenVINO 2024.3版本的目標就是強化獨立GPU上 LLM 和其他模型的性能。與今年的第一個版本 2024.1 相較，此新版本的第一個詞元(token)延遲，在 Intel Arc獨立GPU上的性能提升在1.9倍到6.8倍之間。
對於第二個詞元的處理量(throughput)性能，與今年的第一個版本相比，Intel Arc獨立GPU的性能提升了2到2.9倍。這些改善是透過多頭注意力 (Multi-Head Attention，MHA)機制和OneDNN強化功能的最佳化實現的。
2024.3版本中針對獨立GPU的其他模型性能改善，包括Stable Diffusion和Whisper模型。特別對於Stable Diffusion模型，與先前版本相較，影像生成時間的性能提高了1.1到1.6倍。
第二詞元延遲；每秒詞元數越高越好。
ChatGLM2-6B、Llama-2-7b-chat以及Mistral-7b-v0.1：第二詞元延遲(以每秒詞元數表示)。 輸入分詞數：1024；輸出分詞數：128；波束搜索：1；批量大小：1。精度：INT4 。
Falcon-7b-instruct - Metric：第二詞元延遲(以每秒詞元數表示)。輸入分詞數：32；輸出分詞數：128；波束搜索：1；批量大小：1。精度：INT4。
有關更多測試和系統組態詳細資訊，請參考以下連結： https://edc.intel.com/content/www/us/en/products/performance/benchmarks/mobile_1/
性能因用途、配置和其他因素而有所不同。更多資訊請參考 intel.com/PerformanceIndex。性能結果基於配置所示截止日期的測試，可能並未反映所有公開可用的更新。
改善了提供 LLM模型服務時的CPU性能
vLLM (very Large Language Model)是一個用於 LLM 推論和模型服務的開放源碼程式庫，自推出以來，憑藉其強化LLM推論性能與記憶體效率的創新技術在 AI 社群中備受矚目。在2024.3版本中，OpenVINO 與 vLLM 以及連續批次處理(continuous batching)整合，因此在LLM 提供模型服務時提高了CPU 性能。
OpenVINO 利用全連結層(fully connected layer)最佳化的vLLM技術，融合多個全連結層 (MLP)、U8 KV緩衝記憶體和動態分割融合(dynamic split fuse)，所有這些功能一起運作，以提高推論速度並減少記憶體使用。
例如，在專注於最大化處理量的方案中，當批量較大時，全連結層的運算要求可能會匹配或超過記憶體邊界。在這些情況下，融合多個全連接層(MLP)可以更有效地利用記憶體頻寬，並增加每次記憶體存取的計算數量。
可以在vLLM中使用 OpenVINO 模型伺服器(OpenVINO Model Server，OVMS)或OpenVINO 後端來利用這些新功能。點此查看OVMS範例；對於作為vLLM後端的OpenVINO，請參閱安裝指南。
結語
一如既往，我們重視所有開發者的回饋和貢獻，以助力持續改善 OpenVINO。透過每次新版本的發佈，我們都期待看到各位以全新、具創意的方式利用OpenVINO推進AI 計畫，謝謝大家！
(參考原文：Introducing OpenVINO 2024.3: Enhanced LLM Performance)
只需不到短短一分鐘...
輸入您的信箱與ID註冊即可享有一切福利!
會員福利
免費電子報
會員搶先看
主題訂閱
好文收藏
.jpg)
.jpg)