【開發資源】TinyML MCU 等級開源推論引擎
開源推論引擎在人工智慧應用中扮演著關鍵角色,提供了多樣化且高效能的解決方案,以應對從嵌入式系統到大型資料中心的廣泛需求,本文將介紹TinyML MCU 等級開源推論引擎的連結資源。
認識IPEX-LLM:LLM模型最佳化的PyTorch工具
IPEX-LLM是英特爾為其 XPU(Xeon/Core/Flex/Arc/PVC)提出的低位元 LLM 開源(Apache 2.0授權)函式庫,是專為 PyTorch 生態打造的LLM執行擴充套件,具有廣泛的模型支援、低延遲和記憶體佔用小等優勢。
ADI低功耗AI MCU – MAX78000,適用電池供電環境
Analog Devices(ADI)推出的MAX78000,是一款針對Edge AI應用設計的超低功耗微控制器(Microcontroller Unit, MCU),專為在資源有限的邊緣設備上執行神經網路推論而打造。
【Arm的AI世界】三步驟輕鬆在Ethos-U85上使用PyTorch與ExecuTorch
Arm透過在Ethos-U85上支援ExecuTorch測試版,為開發人員建構物聯網邊緣端應用提供了更多支援。開發人員可以借助ExecuTorch,高效率地部署原生開發的PyTorch模型,基於Arm平台建構出智慧且回應迅速的IoT解決方案。
認識Qualcomm AI 模型優化工具:AIMET
AIMET是 Qualcomm 開發的一套 AI 模型優化工具,它透過壓縮和量化技術來縮小模型,同時保持任務的準確性,有助於提高其在資源受限設備(如手機、邊緣裝置、IoT 設備)上的運行效率。
Arm與GitHub聯手助力軟體開發者簡化AI應用部署流程
Arm宣佈與發者社群GitHub合作,結合其運算平台與GitHub Copilot工具的優勢推動軟體開發領域的變革--借助Copilot的 AI 程式碼建議,開發人員可以在Arm平台上更有效率地編寫、測試和最佳化程式碼。