【Arm的AI世界】Kleidi助力開發人員加速AI創新

Posted By Arm作者群 on 6 月 27, 2024 in Arm, Arm, Arm的AI世界, Edge AI, Edge AI解決方案, Edge AI開發地圖, Edge AI開發環境, Gemma, Llama 2, 技術新訊 | 0 comments

文章導覽

作者：Geraint North，Arm開發者平台副總裁

在持續快速發展的人工智慧(AI)時代，我們堅定地支持全球數百萬開發人員，確保他們能夠獲得所需的效能、工具和軟體函式庫，進而順利地打造下一波令人驚歎的AI體驗。

為此，我們推出了Arm Kleidi，這是一項廣泛的軟體和軟體社群參與計畫，目的在於加速AI發展。首先推出運用於熱門AI框架的Arm Kleidi軟體函式庫，開發人員可以直接取得Arm CPU出色的AI功能；而如今全球從雲端到邊緣的大多數AI推論工作負載，都在這些Arm CPU上執行。開發人員可以借助Arm超過20年的架構創新，從 Armv7 架構首次導入高階的單指令多資料(SIMD)擴展以支援機器學習(ML)工作負載，到現今的Armv9架構在Arm CPU上囊括了加速和保護高階生成式AI工作負載的功能，這些創新持續推動著AI能力和效能的提升。

Kleidi軟體函式庫包含運用於AI工作負載的KleidiAI，和運用於Arm CPU上出色的電腦視覺工作負載的KleidiCV。該軟體函式庫可以被直接嵌入到熱門的AI框架中，開發人員無需進行任何操作。如此一來，開發人員可以輕鬆地啟用Arm CPU的AI功能，進而快速建構AI應用，並在最廣泛的裝置上實現最出色效能。

加速AI發展

因應裝置類型、類神經網路和推論引擎的爆發式成長，KleidiAI是我們提出的解決方案。它由一系列高度最佳化的AI核心(kernel)組成，可在生成式AI等場景中展現高效能。KleidiAI的優勢在於不會為開發人員增加額外工作量，而是直接與先進的AI框架合作－－包括 MediaPipe (透過 XNNPACK)、LLAMA.cpp、PyTorch (透過 ExecuTorch)和 TensorFlow Lite (透過 XNNPACK)－－來整合KleidiAI。這不僅能加快開發流程，也釋放了AI性能，為開發人員提供了預設的高性能，使他們能夠順利打造出色的AI體驗。KleidiAI 還提供了前瞻的相容性，隨著更多技術推出，將確保開發人員能夠充分利用未來 AI 加速機會。

KleidiAI的預先整合為生成式AI工作負載帶來顯著的效能提升。與參考實現方案(基於llama.cpp，但不含Arm的軟體Kleidi最佳化)相比，在新的Arm Cortex-X925 CPU 上，使用(整合了KleidiAI 的) llama.cpp的Meta Llama 3和微軟(Microsoft)的Phi-3 大語言模型(LLM)的詞元(Token)，首次回應時間加快了 190%。KleidiAI非常易於整合，Arm的工程團隊只用不到24小時就測出了Llama 3的最佳化效能。此外，KleidiAI 還透過 XNNPACK 與 MediaPipe 整合，為在行動裝置上運作的開源Gemma LLM提供支援。因此，Google Pixel 8 Pro智慧型手機上Gemma 2B的詞元首次回應時間縮短了25%。

同時， Arm正在與Unity合作開發Sentis，這是一個邊緣AI推論引擎，可讓遊戲開發人員在所有支援Unity遊戲引擎的裝置上打造創新的AI遊戲體驗。在整合KleidAI後，Unity Sentis成功啟用了int4量化功能，將模型記憶體佔用率降低了72.5%；在執行Phi-2 LLM時的效能則提升了 660%。

加速電腦視覺發展

KleidiCV能夠加速許多攝影機應用景中的電腦視覺流水線(pipelines)。OpenCV 是全球最大的電腦視覺資料庫，包含2,500多種演算法，為數十萬開發人員提供支援。根據KleidiCV整合，OpenCV發現各種影像處理任務的典型效能提升高達75%。做為我們與OpenCV策略軟體合作關係的一部分，我們還首次將Android建構導入Maven Central－－這是一個運用於Java開發的開源軟體元件以及函式庫的資源庫。

CPU上的 AI 優勢

Arm Kleidi專注於加速CPU上的AI功能，因為在大多數情況下，所有AI工作負載都會從CPU上開始運作，這使得CPU成為開發人員在為其AI工作負載設定目標時的最便捷路徑。因此，我們為開發人員提供的這一路徑之效能越出色，他們就更可能在開發過程中繼續使用CPU並將其作為目標。此外，隨著LLM變得更小、效能更高，越來越多的AI工作負載會適合在CPU上處理。最後，這將使開發過程變得更加順暢、無縫，進而最佳化開發人員的AI工作負載效能。

在Arm平台上建構AI的未來

Arm Kleidi的推出再次突顯了Arm作為邊緣生成式AI運算平台的領先地位。它使開發人員無需學習額外的工具和技能，就能夠在非常廣泛的硬體中獲得Arm CPU的出色AI效能。隨著我們不斷創新，持續為新一代 AI 打造領先架構，開發人員未來將能夠獲得更強大、更先進的 AI 功能。對於最終使用者來說，這意味著更快速、更智慧、更具互動性、更沉浸式、更安全的出色 AI 體驗。

Arm Kleidi的推出只是一個開端，我們未來還計劃推出更多軟體函式庫、運算核心和引擎整合，持續在Arm平台上建構AI的未來。

(參考原文：Accelerating AI Developer Innovation Everywhere with New Arm Kleidi；本文中文譯稿由Arm提供，責編：Judith Cheng)