Arm與Meta合作在ExecuTorch這項新型端對端解決方案上支援Arm平台，促成適用於PyTorch裝置內的人工智慧(AI)。Arm大力提倡以有效率且輕鬆的方式開發AI工作負載，持續致力於讓PyTorch最新、最出色的模型在Arm平台上執行。
PyTorch一直以來都是研究團隊眾多新型類神經網路的首選平台，不過它需要大量人力的手動流程，才能轉換這類工作負載到Arm平台上有效率的執行。這歸因為匯出流程限制以及各種機器學習(ML)運算的長尾碎片效應，導致難以對照至嵌入式及資源受限系統。
Meta發佈的ExecuTorch程式碼基底，是以PyTorch 2.0出色的開發成果為基礎建構而成，能夠在任何裝置更輕鬆擷取及執行最先進的網路，例如伺服器領域的Arm CPU、行動領域的Arm CPU和GPU，以及嵌入式應用 Cortex-M微處理器和Ethos-U NPU。
我們與Meta密切合作在ExecuTorch導入對Arm裝置的初步支援，以我們大力投資的、以Tensor運算子集架構(Tensor Operator Set Architecture，簡稱TOSA)為基礎，來擷取類神經網路，並利用Ethos NPU在行動及嵌入式平台加速關鍵的ML工作負載。
如今我們發佈適用於ExecuTorch的TOSA編譯流程和執行階段委派功能(compilation flow and runtime delegate)搭配有限的原型支援的Ethos-U55，讓圖形能夠從PyTorch的Python環境，直接匯出至Corstone-300等配備Ethos-U的平台。我們期待持續推動此項工作，在一系列ML使用場景中，促成能夠順利運作的匯出路徑。
這對開發人員有什麼意義？
對一般的 PyTorch 使用者而言，現在可以擷取少量、但持續增加的網路，做為獨立模型，在配備Cortex-M及Ethos-U的平台上有效率的執行。
這裡有兩項主要組成要素：
- 透過提前流程擷取類神經網路做為獨立檔案。以下影像為簡易版的匯出流程。如需詳細資訊，請參閱「匯出至 ExecuTorch」(Exporting to ExecuTorch)文件。
- 以裝置內ExecuTorch執行階段，將工作派遣至Cortex-M及Ethos-U。
只需不到短短一分鐘...
輸入您的信箱與ID註冊即可享有一切福利!
會員福利
1免費電子報
2會員搶先看
3主題訂閱
4好文收藏
