|
【Arm的AI世界】重新思考CPU在AI中的角色:在DGX Spark上實作實用的RAG
2 月12

【Arm的AI世界】重新思考CPU在AI中的角色:在DGX Spark上實作實用的RAG

本文將深入解析基於CPU的嵌入、統一記憶體與本地檢索工作流程如何相互串接,在桌機級AI平台上打造反應迅速、兼顧隱私的RAG流水線——並由Arm與DGX Spark驅動運算。

Read More
【Arm的AI世界】運用本地端LLM推論重塑智慧家庭的隱私與延遲表現
1 月19

【Arm的AI世界】運用本地端LLM推論重塑智慧家庭的隱私與延遲表現

本文將帶領讀者了解如何透過Raspberry Pi 5與基於Arm的本地端LLM推論,打造一個完全私有、無需依賴雲端、且具備即時效能的智慧家庭助理。

Read More
【Arm的AI世界】Ethos-U迎向新世代:ExecuTorch 1.0驅動邊緣AI大躍進
12 月11

【Arm的AI世界】Ethos-U迎向新世代:ExecuTorch 1.0驅動邊緣AI大躍進

做為PyTorch生態系的一部分,ExecuTorch在創新與嵌入式部署之間建立起更順暢的連結,讓開發者能在各類Arm 邊緣裝置上執行最先進的模型——從搭配Arm Ethos-U NPU、強調低功耗的微控制器,到採用Arm CPU、支撐高效能需求的工業級解決方案皆然。

Read More
【Arm的AI世界】運用黃隊演練與LLM助理打造「負責任」的AI產品 
11 月04

【Arm的AI世界】運用黃隊演練與LLM助理打造「負責任」的AI產品 

生成式AI的功能極為強大且用途廣泛,AI產品嵌入經濟活動的情況越來越為普遍,並且是企業成功不可或缺的一環;此一科技的使用範疇、規模與影響需要我們細心地規劃部署,才能從中獲益且不至於擴大危害。

Read More
【Arm的AI世界】在裸機環境運作KleidiAI MatMul核心
9 月04

【Arm的AI世界】在裸機環境運作KleidiAI MatMul核心

本文將介紹如何在裸機環境中運作KleidiAI微核心,並針對不同編譯器在不同最佳化等級下的表現進行基礎的基準測試。

Read More
【Arm的AI世界】在Arm架構邊緣端裝置部署PyTorch模型
8 月04

【Arm的AI世界】在Arm架構邊緣端裝置部署PyTorch模型

以Arm架構為基礎的處理器憑藉低功耗和高效率等優勢,在嵌入式系統中得到了廣泛應用。本文將為你展示如何在樹莓派或NVIDIA Jetson Nano 等Arm架構邊緣端裝置上部署PyTorch模型。

Read More