利用OpenVINO以BLIP實現視覺語言邊緣AI部署
隨著電腦視覺和自然語言處理領域的快速發展，視覺與語言的融合越來越受到研究人員的重視。在這個背景下，BLIP引起了廣泛關注－－該模型在大規模的影像文字資料集上預訓練深度神經網路模型，以提高下游視覺語言任務的性能，如影像文字檢索、影像描述和視覺問答。本文作者將帶領讀者一步步了解如何在研揚科技(AAEON)的新產品UP Squared Pro 7000 Edg上，利用OpenVINO來最佳化BLIP的推論加速。
用Llama 2和OpenVINO打造聊天機器人
Meta終於推出了免費商用版本Llama 2，藉著這個機會，我們來分享一下如何用Llama 2和OpenVINO工具套件來打造一款聊天機器人。
免「仲介」 OpenVINO能直接支援PyTorch模型物件！
隨著OpenVINO 2023.0版本的發佈，OpenVINO工具庫中預置了全新的PyTorch前端，為開發者們提供了一條全新的PyTorch模型支援路徑，帶來更友好的用戶體驗—— OpenVINO的mo工具可以直接將PyTorch模型物件轉化為OpenVINO的模型物件，開發者可以不需要將ONNX模型作為中間過渡。
【開箱評測】OpenVINO讓你不上網也能和Dolly聊聊天
以往在AI模型部署優化及推論部份，通常都會想到使用 Intel OpenVINO，不過大家多半只注意到它在「電腦視覺」相關的應用，殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU處理記憶體動態外形(Dynamic Shape)的能力，使得如生成型預訓練變換模型(GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。
利用OpenVINO部署HuggingFace預訓練模型的方法與技巧
透過HuggingFace開源的Transformers、Diffusers程式庫，只需要要調用少量介面函數，入門開發者也可以非常便捷地微調和部署自己的大模型任務，你甚至不需要知道什麼是GPT、BERT就可以用它們的模型，開發者不需要從頭開始構建模型任務，大幅簡化了工作流程。
最新版OpenVINO 2023.0問世：更輕鬆部署、加速AI應用！
OpenVINO 五週年紀念日即將來臨的此刻，我們很興奮地宣佈OpenVINO最新版本──OpenVINO 2023.0問世！新版本的重點是透過最大限度減少離線轉換、擴大模型支援和推進硬體最佳化來改善開發者之旅，以下讓我們對一些新功能進行深入研究…