輕鬆使用OpenVINO在本地裝置離線運作Llama3

Posted By OpenVINO作者群 on 5 月 6, 2024 in AIGC, Edge AI, Edge AI解決方案, Edge AI開發地圖, Llama 2, OpenVINO, OpenVINO專欄, OpenVINO教學文, 教學文, 開發工具 | 0 comments

除此之外，提到Llama3模型的部署，除了將其部署在雲端之外，模型的當地語系化部署可以讓開發者能夠在不依賴雲端運算資源的情況下，實現資料處理和大模型運算的高效率和高隱私性。利用OpenVINO部署Llama3到本地運算資源，例如AI PC，不僅意味著更快的回應速度和更低的運作成本，還能有效地保護資料安全，防止敏感資訊外洩。這對於需要處理高度敏感性資料的應用場景尤其重要，如醫療、金融和個人助理等領域。

本文將從Llama3模型簡介出發，教大家如何使用OpenVINO對Llama3模型進行最佳化和推論加速，並將其部署在本地裝置上，進行更快、更智慧的AI推論。

Llama3模型簡介

Llama3提供了多種參數量級的模型，如8B和70B參數模型。其核心特點和優勢可總結如下：

• 先進的能力與強大的性能：Llama3模型提供了在推論、語言生成和程式碼執行等方面的SOTA性能，為大型語言模型(LLMs)設定了新的產業標準。
• 增強的效率：採用僅解碼器的Transformer架構與分組查詢注意力(Group Query Attention，GQA)，最佳化了語言編碼效率和運算資源使用，適用於大規模AI任務。
• 全面性的訓練與微調：在超過15兆tokens上進行預訓練，並透過SFT和PPO等創新的指令微調技術，Llama3在處理複雜的多語言任務和多樣化的AI應用中表現卓越。
• 聚焦開源社群：作為Meta開源倡議的一部分發佈，Llama3鼓勵社群參與和創新，開發者可以輕鬆造訪其生態系並貢獻其成果。

利用OpenVINO最佳化並加速推論

如前所述，部署Llama3模型到本地裝置上，不僅意味著更快的回應速度和更低的運作成本，還能有效地保護資料安全，防止敏感資訊外泄。因此，本文將重點介紹如何利用OpenVINO將Llama3模型進行最佳化後，再部署到本地裝置。這個過程包括以下具體步驟，使用的是我們常用的OpenVINO Notebooks GitHub儲存庫中的llm-chatbot 程式碼範例。詳細資訊和完整的原始程式碼可以在此連結找到。

由安裝必備軟體套件開始

運作OpenVINO Notebooks儲存庫的具體安裝指南請點此連結；執行這個llm-chatbot的程式碼範例，需要安裝以下的必備依賴項目(dependencies)套件。

選擇推論模型

由於我們在Jupyter Notebook展示中提供了一組由OpenVINO支援的多語種大語言模型，可以從下拉清單中首先選擇語言；針對Llama3，我們選擇英語。