輕鬆使用OpenVINO在本地裝置離線運作Llama3
利用OpenVINO部署Llama3到本地運算資源，例如AI PC，不僅意味著更快的回應速度和更低的運作成本，還能有效地保護資料安全，防止敏感資訊外洩。這對於需要處理高度敏感性資料的應用場景尤其重要，如醫療、金融和個人助理等領域。本文將介紹如何使用OpenVINO對Llama3模型進行最佳化和推論加速，並將其部署在本地裝置上，進行更快、更智慧的AI推論。
具TinyML功效的開放硬體智慧錶專案：FryPi
開放硬體專案OV-Watch推出進階版的FryPi專案，它是以OV-Watch為基礎進行改進提升，這次希望一般初學者跟專業人士都能輕鬆運用，而且加入TinyML能力。本篇文章會簡單對此專案進行介紹。
LLM/GenAI的回答會造成危害嗎？MLCommons提出衡量規範草案
針對LLM/GenAI會否造成危害？該如何衡量危害程度？對此MLCommons在今年4月提出LLM的安全性測試標準，稱為MLCommons AI Safety，目前僅為0.5版，其中是如何規範的呢？
【Arm的AI世界】以ExecuTorch與TOSA讓PyTorch在Arm平台順利運作
Arm與Meta密切合作在ExecuTorch導入對Arm裝置的初步支援，以Tensor運算子集架構(TOSA)為基礎擷取類神經網路，並利用Ethos NPU在行動及嵌入式平台加速關鍵的ML工作負載…快來了解如何使用PyTorch及ExecuTorch以TOSA將圖形匯出至Arm平台！
用OpenVINO C# API部署YOLOv9目標檢測和實例分割模型
YOLOv9模型是YOLO系列即時目標檢測演算法中的最新版本，代表著該系列在準確性、速度和效率方面的又一次重大飛躍。在本文中，我們將結合OpenVINO C# API使用最新發佈的OpenVINO 2024.0部署YOLOv9目標檢測和實例分割模型。