利用OpenVINO以BLIP實現視覺語言邊緣AI部署
隨著電腦視覺和自然語言處理領域的快速發展,視覺與語言的融合越來越受到研究人員的重視。在這個背景下,BLIP引起了廣泛關注--該模型在大規模的影像文字資料集上預訓練深度神經網路模型,以提高下游視覺語言任務的性能,如影像文字檢索、影像描述和視覺問答。本文作者將帶領讀者一步步了解如何在研揚科技(AAEON)的新產品UP Squared Pro 7000 Edg上,利用OpenVINO來最佳化BLIP的推論加速。
【CIRCUS Pi】UP Squared Pro 7000 運行 OpenVINO Notebooks之AI效能評測
本文開箱測試研揚(AAEON)今年 2023 最新推出第三世代的 UP Squared PRO 7000,運行 OpenVINO Notebooks 測試 AI 運算的效能。
用Llama 2和OpenVINO打造聊天機器人
Meta終於推出了免費商用版本Llama 2,藉著這個機會,我們來分享一下如何用Llama 2和OpenVINO工具套件來打造一款聊天機器人。
免「仲介」 OpenVINO能直接支援PyTorch模型物件!
隨著OpenVINO 2023.0版本的發佈,OpenVINO工具庫中預置了全新的PyTorch前端,為開發者們提供了一條全新的PyTorch模型支援路徑,帶來更友好的用戶體驗—— OpenVINO的mo工具可以直接將PyTorch模型物件轉化為OpenVINO的模型物件,開發者可以不需要將ONNX模型作為中間過渡。
【CIRCUS Pi】AI 教學——實測 UP Squared Pro 7000 Edge 製作 AI 專案
習慣以筆電或桌機運行 Windows 的使用者在製作 AI 邊緣運算專案時,選擇同樣安裝Intel CPU的單板電腦能大幅度降低熟悉新系統的時間,而OpenVINO 2022.1出現更降低了Intel 執行 AI 推論的部屬與操作時間,本文將使用研揚的 UP Squared Pro 7000 Edge進行實測與教學。
【開箱評測】OpenVINO讓你不上網也能和Dolly聊聊天
以往在AI模型部署優化及推論部份,通常都會想到使用 Intel OpenVINO,不過大家多半只注意到它在「電腦視覺」相關的應用,殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU處理記憶體動態外形(Dynamic Shape)的能力,使得如生成型預訓練變換模型(GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。