【開箱實測】OpenVINO榨出單板極限，實作離線LLM AI助理！

Posted By Lin Felix on 7 月 25, 2024 in Edge AI解決方案, Edge AI開發地圖, Edge AI開發環境, Intel, LLM, OpenVINO, OpenVINO專欄, OpenVINO教學文, OpenVINO評測文, 教學文, 研揚AAEON, 評測 | 0 comments

在當前AI PC問世之際，相信不少人已知道OpenVINO可以加速離線大語言模型(LLM)的推論速度，不論是文生圖的Stable Diffusion或是Llama3對話機器人等，都可以在OpenVINO 2024.2新版的加持下，獲得不少的效能提升。本篇則是要更進一步在資源更為受限的單板電腦上進行大語言模型的推論，甚至是實作一個離線大語言模型的AI助理出來！

以單板電腦實作的 AI 助理

UP 7000 EDGE

筆者本次實作使用的硬體為研揚(AAEON)的UP 7000 EDGE單板電腦，其為UP系列中體積最為小巧且最為精簡的系統。移除外殼後的板卡僅有信用卡大小，約為8.5mm x 5.6mm，與樹莓派model B相當。處理器為Intel® Processor N97 4核心，整合繪圖處理器UHD Graphics 24EU執行單元，提供4K顯示外亦可做AI加速推論。記憶體與儲存空間分別為8GB LPDDR5 與 64GB eMMC，外部周邊包含HDMI、1GB Ethernet以及一次給到位的3 port USB 3.2，在這小巧的體積下配備也是一點都不馬虎！