OpenVINO 2024.2姿態模型效能評估:以OpenPose、YOLOv8與3D-Pose為例
本文主要於ASRock NUC BOX-155H平台進行,使用Intel Core Ultra運作的NUC (下一代計算單元)。我們將姿態辨識模型OpenPose、3D Pose、MoveNet 與 YOLOv8 模型轉換為OpenVINO IR模型格式,分別在CPU、iGPU及NPU上進行部署。觀察這些模型在CPU、iGPU及NPU的硬體效能差異,透過實際執行影片推論的過程,觀察NPU的性能表現。
【開箱實測】OpenVINO榨出單板極限,實作離線LLM AI助理!
在當前AI PC問世之際,相信不少人已知道OpenVINO可以加速離線大語言模型(LLM)的推論速度,本篇文章是要更進一步在資源更為受限的單板電腦上進行大語言模型的推論,甚至是實作一個離線大語言模型的AI助理出來!
【開箱評測】看研華科技 AIR-150 搭載 Hailo-8 26TOPS AI推論晶片如何成為邊緣智慧新利器
本篇文章會對研華科技的微型工業電腦 AIR-150 進行評測。這款機器內搭 M.2 型式 Hailo-8 高效 AI 加速模組,具有 26 TOPS 推論能力,正好可以解決惡劣環境、空間窄小及AI應用推論算力不足的問題。
【CIRCUS Pi】Seeed Studio XIAO ESP32-S3 Sense-ESP32CAM 進化版?
ESP32S3 Sense 是 XIAO 家族系列最新的開發板,同時在這塊板子上也有不少突破點,除了搭載了新的核心 ESP32S3 之外,還使用了板對板連接器使其可以在維持相同面積的 PCB 條件下,擴充了 IO 的數量與功能。
運用BF16與NHWC技術實現進階版LLM微調訓練最佳化
本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術,來最佳化大型AI模型的訓練速度與記憶體節省,並延續以
活用IPEX和Intel GPU加速大型語言模型訓練效率
以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品,可提供最佳化功能大幅提升運作效能。例如透過PyTorch的