【開箱評測】OpenVINO讓你不上網也能和Dolly聊聊天

Posted By 許 哲豪 on 7 月 4, 2023 in Edge AI教學文, Hugging Face, Intel, LLM, OpenVINO, OpenVINO專欄, OpenVINO教學文, OpenVINO評測文, 教學文, 研華, 開箱文

以往在AI模型部署優化及推論部份，通常都會想到使用 Intel OpenVINO，不過大家多半只注意到它在「電腦視覺」相關的應用，殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU處理記憶體動態外形(Dynamic Shape)的能力，使得如生成型預訓練變換模型(GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。