本文將帶領讀者了解如何透過Raspberry Pi 5與基於Arm的本地端LLM推論，打造一個完全私有、無需依賴雲端、且具備即時效能的智慧家庭助理。

做為PyTorch生態系的一部分，ExecuTorch在創新與嵌入式部署之間建立起更順暢的連結，讓開發者能在各類Arm 邊緣裝置上執行最先進的模型——從搭配Arm Ethos-U NPU、強調低功耗的微控制器，到採用Arm CPU、支撐高效能需求的工業級解決方案皆然。

生成式AI的功能極為強大且用途廣泛，AI產品嵌入經濟活動的情況越來越為普遍，並且是企業成功不可或缺的一環；此一科技的使用範疇、規模與影響需要我們細心地規劃部署，才能從中獲益且不至於擴大危害。

GitHub與Arm緊密合作，致力於最佳化在Arm平台上開發的體驗，透過強化的工作流程，整合原生Arm runner、內建必要工具與函式庫的映像檔，以及GitHub Copilot Extensions，協助開發者運用AI加速開發。

本文將介紹如何在裸機環境中運作KleidiAI微核心，並針對不同編譯器在不同最佳化等級下的表現進行基礎的基準測試。