輕鬆使用OpenVINO在本地裝置離線運作Llama3
利用OpenVINO部署Llama3到本地運算資源，例如AI PC，不僅意味著更快的回應速度和更低的運作成本，還能有效地保護資料安全，防止敏感資訊外洩。這對於需要處理高度敏感性資料的應用場景尤其重要，如醫療、金融和個人助理等領域。本文將介紹如何使用OpenVINO對Llama3模型進行最佳化和推論加速，並將其部署在本地裝置上，進行更快、更智慧的AI推論。
【Edge AI專欄】AIPC開箱實測 ─ Yolov8斜物件偵測
本篇文章會使用Asus NUC 14 PRO來進行AI推論應用，並從AIPC 硬體規格、安裝工作環境、旋轉物件偵測及在不同硬體運行效能分析比較等方面幫大家做一個完整的介紹。
【開箱評測】看研華科技 AIR-150 搭載 Hailo-8 26TOPS AI推論晶片如何成為邊緣智慧新利器
本篇文章會對研華科技的微型工業電腦 AIR-150 進行評測。這款機器內搭 M.2 型式 Hailo-8 高效 AI 加速模組，具有 26 TOPS 推論能力，正好可以解決惡劣環境、空間窄小及AI應用推論算力不足的問題。
【Arm的AI世界】以ExecuTorch與TOSA讓PyTorch在Arm平台順利運作
Arm與Meta密切合作在ExecuTorch導入對Arm裝置的初步支援，以Tensor運算子集架構(TOSA)為基礎擷取類神經網路，並利用Ethos NPU在行動及嵌入式平台加速關鍵的ML工作負載…快來了解如何使用PyTorch及ExecuTorch以TOSA將圖形匯出至Arm平台！
Arm新一代Ethos-U NPU與IoT參考設計平台亮相
Arm的嵌入式AI加速器Ethos-U系列NPU再添新成員U85；與上一代產品相比，Ethos-U85的效能號稱提升四倍，並提高了20%功耗效率…
【Arm的AI世界】縮小Edge AI的技能落差
希望運用新型AI和機器學習工作負載的邊緣AI開發團隊，大部分都面對技能落差的問題，導致團隊沒有足夠能力最佳化及加速裝置內的AI。所以有哪些關鍵落差持續存在？讓我們深入探討各個領域的挑戰以及解決方案。