|
利用OpenVINO以BLIP實現視覺語言邊緣AI部署
8 月31

利用OpenVINO以BLIP實現視覺語言邊緣AI部署

隨著電腦視覺和自然語言處理領域的快速發展,視覺與語言的融合越來越受到研究人員的重視。在這個背景下,BLIP引起了廣泛關注--該模型在大規模的影像文字資料集上預訓練深度神經網路模型,以提高下游視覺語言任務的性能,如影像文字檢索、影像描述和視覺問答。本文作者將帶領讀者一步步了解如何在研揚科技(AAEON)的新產品UP Squared Pro 7000 Edg上,利用OpenVINO來最佳化BLIP的推論加速。

Read More
【CIRCUS Pi】UP Squared Pro 7000 運行 OpenVINO Notebooks之AI效能評測
8 月31

【CIRCUS Pi】UP Squared Pro 7000 運行 OpenVINO Notebooks之AI效能評測

本文開箱測試研揚(AAEON)今年 2023 最新推出第三世代的 UP Squared PRO 7000,運行 OpenVINO Notebooks 測試 AI 運算的效能。

Read More
用Llama 2和OpenVINO打造聊天機器人
8 月25

用Llama 2和OpenVINO打造聊天機器人

Meta終於推出了免費商用版本Llama 2,藉著這個機會,我們來分享一下如何用Llama 2和OpenVINO工具套件來打造一款聊天機器人。

Read More
免「仲介」 OpenVINO能直接支援PyTorch模型物件!
8 月04

免「仲介」 OpenVINO能直接支援PyTorch模型物件!

隨著OpenVINO 2023.0版本的發佈,OpenVINO工具庫中預置了全新的PyTorch前端,為開發者們提供了一條全新的PyTorch模型支援路徑,帶來更友好的用戶體驗—— OpenVINO的mo工具可以直接將PyTorch模型物件轉化為OpenVINO的模型物件,開發者可以不需要將ONNX模型作為中間過渡。

Read More
【CIRCUS Pi】AI 教學——實測 UP Squared Pro 7000 Edge 製作 AI 專案
8 月01

【CIRCUS Pi】AI 教學——實測 UP Squared Pro 7000 Edge 製作 AI 專案

習慣以筆電或桌機運行 Windows 的使用者在製作 AI 邊緣運算專案時,選擇同樣安裝Intel CPU的單板電腦能大幅度降低熟悉新系統的時間,而OpenVINO 2022.1出現更降低了Intel 執行 AI 推論的部屬與操作時間,本文將使用研揚的 UP Squared Pro 7000 Edge進行實測與教學。

Read More
【開箱評測】OpenVINO讓你不上網也能和Dolly聊聊天
7 月04

【開箱評測】OpenVINO讓你不上網也能和Dolly聊聊天

以往在AI模型部署優化及推論部份,通常都會想到使用 Intel OpenVINO,不過大家多半只注意到它在「電腦視覺」相關的應用,殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU處理記憶體動態外形(Dynamic Shape)的能力,使得如生成型預訓練變換模型(GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。

Read More