以可重構NPU實現邊緣應用 耐能致力推動AI民主化
成立於2015年、擁有台灣血統的AI晶片設計業者耐能智慧(Kneron)，於2023年底針對企業應用發表以該公司神經網路處理器(NPU)技術為基礎的KNEO 300系列EDGE GPT邊緣裝置，主打可藉由在裝置本地端(不須連結網際網路)運作GPT大語言模型，為使用者實現低延遲、高效率且具備隱私保護與資料安全性的各種Edge AI推論應用，在市場上掀起一波討論熱潮…
【開箱評測】OpenVINO讓你不上網也能和Dolly聊聊天
以往在AI模型部署優化及推論部份，通常都會想到使用 Intel OpenVINO，不過大家多半只注意到它在「電腦視覺」相關的應用，殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU處理記憶體動態外形(Dynamic Shape)的能力，使得如生成型預訓練變換模型(GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。