【開箱評測】OpenVINO讓你不上網也能和Dolly聊聊天

Posted By 許 哲豪 on 7 月 4, 2023 in Edge AI教學文, Hugging Face, Intel, LLM, OpenVINO, OpenVINO專欄, OpenVINO教學文, OpenVINO評測文, 教學文, 研華, 開箱文 | 0 comments

相信大家最近幾個月都被大型語言模型(Large Language Model，LLM)及人工智慧生成內容（Artificial Intelligence Generated Content, AIGC）給驚豔（驚嚇）到了吧！？好像科幻電影「鋼鐵人」中的虛擬管家「賈維斯（Jarvis）」已經被實現出來了，如果家裡也能有一套，那該有多好啊。目前此類 AI 模型多半都非常巨大，通常只能透過雲端伺服器的強大算力才能運行。為了也能在單機上運行，開始有一些較小規模的模型搭配超強的CPU及GPU也能順利達到交談互動、文章生成等應用。

以往在AI模型部署優化及推論部份，通常都會想到使用 Intel OpenVINO，不過大家多半只注意到它在「電腦視覺」相關的應用，殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU(內顯HD Graphic，Iris，獨顯Arc）處理記憶體動態外形(Dynamic Shape)的能力，使得如生成型預訓練變換模型(Generative Pre-trained Transformer，GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。

此次很榮幸得到國內外知名工業電腦大廠「研華科技」提供最新的小型工業電腦主機EPC-B2000 MxM系列 （Intel 12代CPU, i7-12700TE）進行測試，其中硬體部份還加入 Mobile PCI Express Module（MXM） 介面的VEGA-X110 ，即 Intel 最新獨立顯卡(Arc A370M) ，用來加速AI應用計算。而軟體部份則搭配 Intel OpenVINO 2023.0 來進行LLM模型優化及推論。

為了測試LLM的推論的效能，這裡使用了OpenVINO Notebooks範例中的 GPT-2 文字生成及開源 Dolly 2.0 對話生成進行測試。以下就依序從自然語言對話技術發展歷史、運行系統的硬體規格、軟體開發環境及LLM實驗結果來幫大家介紹一下。

1. 自然語言對話技術發展歷史

1950年電腦科學及人工智慧之父艾倫．圖靈提出了「圖靈測試」的想法，若人類透過打字或語音與遠方機器對話而無法分辨對方是否為機器就算通過測試，可以稱這部機器具有人類的「智慧」。經過許多電腦科學家多年努力，這項技術仍僅存在科幻電影中。直到2011年蘋果(Apple)在iPhone上推出了「SIRI語音助理」，才讓大家對自然語言處理/理解（Natural Language Processing / Understanding，NLP/NLU）有了新的期待。

近十年來各種深度學習模型推陳出新，加上電腦計算速度、能處理的資料集大小及模型參數規模都有了大幅提升，使得NLP/NLU質與量上也隨之快速成長。2018年OpenAI提出一篇名為名為「Improving Language Understanding by Generative Pre-Training」的論文，提及「基於轉換器(Transfomer)的生成式預訓練模型」，從此奠定了GPT在LLM的重要地位。

2022年底OpenAI推出ChatGPT馬上引爆LLM及AIGC相關應用，其主要採用了互動交談來訓練及強化模型，即透過人類反饋的增強式學習（Reinforcement Learning from Human Feedback，RLHF），使得輸出更接近真人的自然語言處理、理解及學習特定領域知識。這項技術除了可以用來聊天、回答各式各樣的問題外，還可自動生成文章、快速摘要長文等功能。而今(2023)年便成為LLM及AIGC發展最迅猛的一年，僅不到半年就推出了數十個相關大型系統軟體，如GPT-4、Bard、LLaMA等，這對想投入AI應用服務的廠商有很大的幫助。

目前 LLM 有兩個較大的問題尚待解決，一是面對這些如此巨大的模型，通常還是得靠雲端大型、高算力設備（如GPU、TPU、NPU等）才能達到迅速回應的能力。二是向雲端發出問題來得到答案，有可能會泄漏個人隱私或公司機密。因此如何在本地端（不上網）使用中階設備就能提供這項服務，就變成大家努力的方向，這也是本文主要介紹的重點。

圖1： 自然語言對話技術發展示意圖。（OmniXRI整理製作, 2023/07/03）

2. 硬體規格簡介

此次由研華科技提供測試的主機短小精悍，體積不大，卻有超強算力，且功耗比起傳統搭載Nvidia高階顯卡的主機來得低上許多，所以主機內只需小型風扇就足以散熱，如圖2所示。這台主機使用Intel 12代高效能CPU，內建有GPU HD Graphics 770（以下簡稱iGPU），另外加上一張MXM介面的Intel Arc370M的獨立顯卡（以下簡稱dGPU），可加強在AI推論上的效能。其完整規格如下所示。

主機：EPC-B2278

• CPU: i7-12700TE

  • 64bit, 12 Cores, 20 Threads, 1.4G-4.6GHz
  • iGPU, UHD Graphics 770, 32 EU, eDP 1.4b, DP 1.4a, HDMI 2.1

• Memory: DDR5, 4800MHz, 32GB
• Storge: SSD 256GB
• I/O: COM x2, USB x4, EtherNet x2, DP++ x2 (註：目前此款機器背板無HDMI接口，需自行使用DP轉換HDMI線材連接，其它同系列機種有不同擴充槽配置)
• 尺寸： 250 x 98 x 255 mm
• 重量： 5Kg
• 變壓器：24V / 9.58A, 230W

獨立顯卡：VEGA-X110

• Mobile PCI Express Module（MXM）
• Intel Arc A370M with 8 Xe-Cores (128EU)
• 1550MHz base clock
• GDDR6 4GB 64bit
• 8K DP1.4a x4