PyTorch為邊緣及行動設備推出ML推論優化工具：ExecuTorch

Posted By MakerPRO編輯部 on 10 月 26, 2023 in Edge AI開發地圖, Edge AI開發環境, ExecuTorch, PyTorch, 新聞稿, 深度學習, 產業趨勢 | 0 comments

知名的深度學習開發框架PyTorch的PyTorch Edge團隊日前（10/17）宣布推出ExecuTorch解決方案，此方案可為行動及邊緣設備提供設備端推論功能（on-device inference），目前已獲得Arm、Apple 和 Qualcomm 創新中心等大廠的支持。

隨著Edge AI的應用擴展，邊緣設備也被要求能實現部分AI的功能，不論是開源社群或廠商，雖持續有相關工具在AI生態系統中被提出，但卻有各行其是的碎片化（fragmentation）問題。PyTorch Edge指出，ExecuTorch正是針對此問題而做出的努力成果，它能為第三方夥伴提供無縫整合，以加速專用硬體上的機器學習（ML）模型推論功能的優化。

ExecuTorch針對PyTorch生態系中的模型提供更緊湊的runtime、輕量化的操作註冊表（operator registry），以及在邊緣裝置上執行PyTorch程序的簡化路徑，這些設備涵蓋行動電話及其合作夥伴建構的嵌入式硬體。此外，ExecuTorch還提供SDK及Toolchain，讓ML開發者能夠在PyTorch的工作流程中實現從模型分析、訓練、除錯到委派任務的全部開發需求。

PyTorch Edge團隊表示，ExecuTorch為ML開發者提供了以下好處：

1. 便攜性：從高階行動電話到高度受限的嵌入式系統和微控制器的運算平台，它都能相容。

2. 生產力：開發人員能夠使用相同的Toolchain和 SDK，從 PyTorch 模型創作和轉換到調試和部署到各種平台，從而提高生產力。

3. 效能：由於輕量級運行時間以及利用完整硬體功能（包括通用 CPU 和專用微處理器（例如 NPU 和 DSP））的能力，為最終用戶提供無縫和高效能的體驗。

PyTorch Edge社群已創建了廣泛的文件，提供有關 ExecuTorch 架構、其高級組件、在 ExecuTorch 上運行的範例 ML 模型，以及在各種硬體設備上導出和運行模型的端到端教程等更多資訊，了解有關 PyTorch Edge 和 ExecuTorch 的更多資訊。

（責任編輯：歐敏銓；資料來源）