NVIDIA開放式推論模型助力開發者建構代理型AI平台
NVIDIA宣布推出具有推論能力的開放式Llama Nemotron模型系列，為開發人員和企業提供商業就緒的基礎，以建立可獨立作業或是組隊解決複雜任務的先進AI代理。
小型語言模型趨勢觀察與體驗
相對於大語言模型，小語言模型是將LLM縮小、輕量化，以在PC上執行並方便微調的版本；兩者其實沒有很清晰的分界，一般認定70億個參數以下的模型即可視為小模型。
輕鬆使用OpenVINO在本地裝置離線運作Llama3
利用OpenVINO部署Llama3到本地運算資源，例如AI PC，不僅意味著更快的回應速度和更低的運作成本，還能有效地保護資料安全，防止敏感資訊外洩。這對於需要處理高度敏感性資料的應用場景尤其重要，如醫療、金融和個人助理等領域。本文將介紹如何使用OpenVINO對Llama3模型進行最佳化和推論加速，並將其部署在本地裝置上，進行更快、更智慧的AI推論。
利用OpenVINO部署HuggingFace預訓練模型的方法與技巧
透過HuggingFace開源的Transformers、Diffusers程式庫，只需要要調用少量介面函數，入門開發者也可以非常便捷地微調和部署自己的大模型任務，你甚至不需要知道什麼是GPT、BERT就可以用它們的模型，開發者不需要從頭開始構建模型任務，大幅簡化了工作流程。
AI分割一切：用OpenVINO加速Meta SAM大模型
最近在電腦視覺領域就出現了專屬的物體分割大模型，由Meta開源的「萬物可分割」（SAM）物體分割模型。這個強大的通用分割模型，當然也能用OpenVINO進行最佳化以及推論的加速，使其能方便快速地在Intel的CPU上部署執行。來跟著我們提供的程式碼與步驟一起來動手試試吧！
【開箱評測】巴掌大的迷你主機也能跑出高效AI推論表現！
為了更進一步了解這類迷你主機在AI推論效能的表現，此次選用東擎(ASRock Industrial) NUC BOX-1260P作為測試機，AI推論部份則選用OpenVINO 2022.3版作為基礎工具。而測試項目則使用OpenVINO Notebooks中最新的物件偵測「Convert and Optimize YOLOv8 with OpenVINO」範例作為實測效能的分析。