LLM性能再強化 OpenVINO 2024.3隆重發佈！
OpenVINO 2024.3版本現在已經正式推出！這次更新帶來了新的功能，並對現有功能進行了強化，特別是大型語言模型(LLM)的性能；本文將介紹此新版本的關鍵進展。
OpenVINO全新GenAI API：幾行程式碼就能快速建立GenAI App！
全新的OpenVINO GenAI API為開發者提供了更簡單與清晰的程式碼；這意味著除了提供電腦視覺、AI加速與最佳化程式庫，OpenVINO現在也是開發者實現GenAI應用的助力。
輕鬆實現邊緣裝置即時異常檢測與LLM對話機器人
將 AI 模型部署在資源受限的邊緣裝置上，是許多開發者面臨的挑戰。在 2024 年 7 月 31 日舉辦的第五場OpenVINO DevCon 線上講座，來自Intel的專家楊亦誠與武卓以電腦視覺與異常檢測應用為例，讓聽眾了解如何使用開源Anomalib函式庫，透過不平衡資料集進行無監督學習，即時處理罕見異常，改善製造、醫療、農業等領域的品質控制；此外詳細介紹了OpenVINO 2024.2 版本新增加的 GenAI API 功能以及檢索增強生成(RAG)技術，如何以更簡化的流程在邊緣裝置部署能提供精準答案的 LLM 對話機器人(Chatbot)。
OpenVINO 2024.2姿態模型效能評估：以OpenPose、YOLOv8與3D-Pose為例
本文主要於ASRock NUC BOX-155H平台進行，使用Intel Core Ultra運作的NUC (下一代計算單元)。我們將姿態辨識模型OpenPose、3D Pose、MoveNet 與 YOLOv8 模型轉換為OpenVINO IR模型格式，分別在CPU、iGPU及NPU上進行部署。觀察這些模型在CPU、iGPU及NPU的硬體效能差異，透過實際執行影片推論的過程，觀察NPU的性能表現。
【Arm的AI世界】助力TinyML開發 最新版Keil MDK問世
多年來，Arm提供Keil 微控制器開發套件 (Keil MDK)。這是針對基於Cortex-M打造的嵌入式、物聯網和邊緣ML應用所推出，最全面的軟體開發解決方案。Arm在近期正式發佈了Keil MDK第六版 (以下簡稱MDK v6)，針對整個Arm Cortex-M和Arm Ethos-U處理器產品系列進行了最佳化。
【樹莓派AI套件更新】開始能用Hailo的Dataflow編譯器
今年6月份，樹莓派AI Kit 開始發售後，已經在套件內隨附許多可以執行的AI範例程式，但相隔約一個月時間再釋出利多，對於樹莓派的深入用戶而言，可以在AI套件上使用以色列AI新創公司Hailo的Dataflow編譯器。
0514邊緣系統VLM視覺理解推論實作工作坊
