當前最熱門的AI應用正從具備問答對話功能的生成式AI，進一步發展為能串接不同工具、處理資料並執行任務的AI Agent，企業對運算資源與部署環境的需求也持續提升。考量資料隱私、雲端服務成本與網路延遲，讓AI工具與Agent在地端執行，並掌握模型的調整與使用方式，正成為企業建立專屬AI環境的重要方向。
然而，從選擇合適的硬體、整合軟體套件，到執行模型推論與微調，地端 AI 仍有不少建置門檻。如何透過軟硬體整合，讓開發者更容易部署、管理並運用地端 AI，也成為企業將 AI 導入日常工作流程的關鍵。
於11月5日登場，由技嘉科技主辦、MakerPRO執行的「GIGABYTE AI TOP ATOM 重塑地端 AI Agent 開發與部署」線上研討會，邀請到虎智科技創辦人盧業興（Morris）與技嘉科技專業電腦事業處產品銷售經理陳聖坤（Vito），分別從開發架構、軟硬體平台與實機操作切入，探討如何將桌邊的 AI 算力，轉化為企業日常可用的服務。
模型能跑之後 還有部署與治理
盧業興指出，要讓AI工具與Agent 在地端穩定運作，企業需要將硬體算力轉化為可管理的模型服務，並建立支援應用部署與持續運行的環境。這兩項工作相互配合，才能讓 AI 從開發測試階段，進一步融入企業的日常工作流程。
(圖片來源：盧業興)
他進一步解釋，透過Claude Code、Codex等工具，使用者已能快速建立應用，但模型成功啟動，只是建置的起點。推論引擎參數、量化方式、上下文長度及併發配置，都會影響實際使用體驗；團隊必須進一步確認首字回應延遲、生成速度，以及多人同時使用時的負載表現。
模型品質同樣需要獨立驗證。盧業興特別提醒，台灣企業採用模型時，應檢查繁體中文表現、長文處理能力及任務限制，並以固定測試集比較不同設定下的回答品質。即使調整參數後速度變快，也必須確認答案仍符合需求，才能將模型包裝成具備 API 金鑰、配額與用量管理的服務，提供其他應用呼叫。
另一項工作則是建立部署環境。從筆電上的程式到公司內部服務，還涉及版本、執行環境、資料庫、權限，以及更新與回復機制。當服務對象擴大到整個團隊，還必須回答誰能使用模型Agent能呼叫哪些工具、執行過哪些操作，以及發生問題時如何追查與復原。這也讓工程師的工作重心，進一步延伸至架構規劃、驗證與維運管理。
從工作負載出發 選擇合適的地端平台
陳聖坤表示，技嘉將伺服器與資料中心的經驗延伸至辦公室，希望讓中小企業、新創、學校及研究單位，也能在日常工作環境中建立自己的AI算力。推動這類需求的因素，包括企業對資料掌控的要求、持續使用雲端服務的成本，以及大量影像與文件搬移所帶來的負擔。
本次介紹的AI TOP ATOM採用NVIDIA DGX Spark平台架構，搭載GB10 Grace Blackwell超級晶片、20核心Arm CPU與128GB統一記憶體，使用NVIDIA DGX OS。其最高1 PFLOP AI算力為FP4稀疏運算條件下的理論峰值，並配備ConnectX-7網路介面，支援進一步串接擴充。對開發團隊而言，大容量記憶體提供了部署較大型模型及多模型服務的空間，而小型機身則讓設備更容易融入辦公與研究環境。
（圖片來源：技嘉）
不過，選型仍應回到工作本身。陳聖坤建議，先釐清要做推論問答、檢索增強生成（RAG）或模型微調，以及同時使用的人數，再選擇模型、估算記憶體與儲存需求，最後對照預算挑選機種。技嘉也提供 AI TOP 100、AI TOP 500 等不同配置，讓需要獨立 GPU 或更多擴充能力的團隊，能依工作負載調整平台。
在軟體方面，陳聖坤介紹AI TOP系列搭配的AI TOP Utility，透過圖形化介面整合資源監控、模型管理、資料集準備、微調與推論等工作。他分享，部分教育與醫療領域使用者，也將這類工具用於教學，協助學生或專業人員理解資料準備、模型調整及結果驗證之間的關係。這反映企業導入 AI 的另一項需求：讓領域專家能參與開發過程，降低工具操作帶來的阻力。
實機示範：將筆電上的App部署到企業內部
在實作環節，盧業興以筆電連接區域網路中的AI TOP ATOM，展示如何先建立模型服務，再將開發完成的應用部署到設備上。他將流程整理為「模型跑得好、App 放得進、同仁用得起來」，讓開發與日常使用之間的銜接更具體。
第一階段透過虎智科技自行開發的管理工具，檢視硬體資源、部署模型並管理推論服務。驗證順序則從穩定運行開始，再比較速度、檢查回答品質，最後評估真實任務、多人負載與 API 使用情況。這套流程的重點，是留下可比較的測試依據，讓團隊知道目前的模型設定能支援哪些工作。
第二階段則以數位鬧鐘App示範部署。盧業興在 AI TOP ATOM 上預先建立 MCP Server，以及 PostgreSQL、Redis 等基礎服務，讓筆電端的 Claude Code 能透過 MCP 介面取得部署環境資訊。他以 Agent 對 Agent 協作的方式，說明開發端如何交付任務，由伺服器端接手部署。
操作時，開發工具先確認連線，查詢可用服務與限制，再依照使用者需求提出規劃，包括資料儲存、台北時區及連接埠配置，經確認後才執行部署。過程中也出現調整連接埠的互動，呈現實際部署仍需處理的環境細節；完成後，使用者即可透過瀏覽器開啟位於 AI TOP ATOM 上的應用。
這個簡單案例展示了開發端與執行端分開的價值：程式部署後，可由固定設備持續提供服務，開發者不必為了讓同事使用 App 而一直開著筆電。對非工程背景的使用者，後續則可透過應用入口或工作流程提出需求，由 AI 協助整理資料，再交由主管確認並追蹤進度。從模型到應用的部署能力，因而成為企業運用 AI 的重要基礎。
從醫學影像到機器人 縮短研究迭代等待
陳聖坤也分享地端平台在不同領域的導入經驗。在台灣醫療院所案例中，AI TOP ATOM 用於 CT 影像處理與血管重建相關工作。依其介紹，原先約需 45 分鐘的處理流程縮短至約 2 分鐘，病患影像則留在院所內運算，兼顧研究效率與資料管理需求。
另一個案例來自澳洲昆士蘭科技大學（QUT）的機器人研究團隊，利用AI TOP ATOM進行Isaac Lab機械手臂模擬。陳聖坤指出，桌邊可取得的算力有助減少共用設備的排程等待，小型設備也方便研究人員在不同實驗站或展示場合使用。他另以採用AI TOP 100的圓安生技為例，說明企業如何將成分分析與運算工作移回研究室，掌握研發排程及核心資料。
（圖片來源：技嘉）
這些案例呈現的價值，除了運算速度，也包括研究人員能否隨時驗證想法、調整參數並再次執行。對需要反覆試驗的團隊而言，取得算力的便利性與資料所在位置，都是影響開發效率的因素。
雲地協作 依任務安排模型與資料
在問答環節，與會者關切AI TOP ATOM是否適合微調，以及只用於推論會不會未充分發揮硬體價值。陳聖坤說明，微調應以既有模型的小批次調整及特定需求最佳化為主要方向；在推論方面，大容量統一記憶體則有助於配置多個模型，支援不同 Agent 或工作任務，實際配置仍需配合模型大小及資源需求。
談到與其他同類平台的差異，他將重點放在AI TOP Utility的使用介面、機身前後進出風口的散熱設計，以及AI TOP系列提供的後續擴充選擇。對企業而言，這些因素關係到教育訓練、長時間運行與未來升級，也都是採購評估的一部分。
至於雲端與地端如何分工，盧業興提出以雲端模型協助規劃及驗證的做法。例如，讓雲端 AI 協助設計測試、檢查系統流程，同時將機密資料保留在企業內部。他認為，企業應辨識不同模型擅長的任務，以雲端能力協助改善地端系統，而非只從使用費用判斷架構。
陳聖坤補充，實際上客戶也常採用混合架構：需要較大算力的訓練可安排在雲端，完成後再將模型部署至地端進行微調或日常推論；敏感資料留在內部處理，其他適合的任務則彈性調用雲端資源。
從這場研討會的架構討論與操作展示可見，地端AI的發展正從硬體與模型選擇，走向可交付、可驗證、可維運的企業服務。AI TOP ATOM提供桌邊運算基礎，而模型品質、部署流程及治理機制，則決定這份算力能否真正融入工作。企業接下來要建立的，是一套讓開發者、領域專家與日常使用者都能參與的AI運作方式。
- 地端AI從模型走向應用 技嘉分享開發與部署實戰經驗 - 2026/11/11
- 恩智浦新推整合式機器人平台 加速可信賴實體AI部署 - 2026/11/10
- AI需求扮演主力 TrendForce預測2027科技產業大勢 - 2026/11/10
訂閱MakerPRO知識充電報
與40000位開發者一同掌握科技創新的技術資訊！
