|
OpenVINO×ExecuTorch:解鎖英特爾架構AI PC模型推論效能新境界
11 月21

OpenVINO×ExecuTorch:解鎖英特爾架構AI PC模型推論效能新境界

在這篇深度解析技術文章,我們將探討ExecuTorch的OpenVINO後端——這是一種專為簡化異質運算複雜度而設計的解決方案,讓單一模型能智慧地運用CPU、GPU與NPU的專有功能,達到近乎原生的效能表現。

Read More
【Arm的AI世界】以ExecuTorch和KleidiAI執行LLM推論 充分釋放行動端AI潛力!
5 月02

【Arm的AI世界】以ExecuTorch和KleidiAI執行LLM推論 充分釋放行動端AI潛力!

受惠於Arm和Meta工程團隊的協作,AI開發人員可在具有i8mm ISA擴展的基於Armv9架構之Arm Cortex-A CPU上部署Llama量化模型,運作速度最高可提升20%;本文將分享更多細節,包括…

Read More
【Arm的AI世界】三步驟輕鬆在Ethos-U85上使用PyTorch與ExecuTorch
3 月25

【Arm的AI世界】三步驟輕鬆在Ethos-U85上使用PyTorch與ExecuTorch

Arm透過在Ethos-U85上支援ExecuTorch測試版,為開發人員建構物聯網邊緣端應用提供了更多支援。開發人員可以借助ExecuTorch,高效率地部署原生開發的PyTorch模型,基於Arm平台建構出智慧且回應迅速的IoT解決方案。

Read More
【Arm的AI世界】以ExecuTorch與TOSA讓PyTorch在Arm平台順利運作
4 月22

【Arm的AI世界】以ExecuTorch與TOSA讓PyTorch在Arm平台順利運作

Arm與Meta密切合作在ExecuTorch導入對Arm裝置的初步支援,以Tensor運算子集架構(TOSA)為基礎擷取類神經網路,並利用Ethos NPU在行動及嵌入式平台加速關鍵的ML工作負載…快來了解如何使用PyTorch及ExecuTorch以TOSA將圖形匯出至Arm平台!

Read More
PyTorch為邊緣及行動設備推出ML推論優化工具:ExecuTorch
10 月26

PyTorch為邊緣及行動設備推出ML推論優化工具:ExecuTorch

PyTorch Edge團隊日前(10/17)宣布推出ExecuTorch解決方案,此方案可為行動及邊緣設備提供設備端推論功能(on-device inference),目前已獲得Arm、Apple 和 Qualcomm 創新中心等大廠的支持。

Read More