作者：Koki Mitsunami，Arm 首席工程師
Cloud AI與Web AI
網頁上的AI應用通常採取兩種方式：Cloud AI（雲端AI）與Web AI（瀏覽器端AI）。
目前，大多數網頁型AI體驗都仰賴Cloud AI。當您與AI驅動的應用程式互動時，瀏覽器會將您的輸入傳送到遠端伺服器；AI工作負載在該處執行，再將結果傳回。瀏覽器主要扮演使用者與雲端服務之間的介面，許多聊天機器人與AI助理都採用這種方式。
近期網頁技術的進展帶來了另一種方式。瀏覽器不再只扮演前端，而是能直接在使用者的裝置上執行AI模型與AI功能。這種方式稱為Web AI。
這項轉變改變了瀏覽器的角色。瀏覽器不再只是使用者介面，而成為AI執行環境的一部分，負責模型載入、執行、資料處理，以及與裝置功能互動。這也為開發者帶來一個實務問題：何時應該讓瀏覽器在本機執行AI，而不是每個請求都傳送到雲端？
圖 1：Cloud AI與Web AI的簡化示意圖
為何要在瀏覽器中執行 AI？
Cloud AI與Web AI 各自適用於不同需求，而許多應用程式會同時使用兩者。Cloud AI適合大型模型、集中式服務，以及需要受管理伺服器端基礎設施的工作負載。相較之下，Web AI可在瀏覽器內進行本機執行，通常能產生多項實務優勢。
在本機執行模型可避免網路來回傳輸，進而提升回應速度，也能降低傳輸影像、音訊或文字等敏感資料的需求。本機執行還可將運算移至使用者端，以降低伺服器端的推論成本；不過，開發人員仍須考量裝置能力、記憶體使用量、電池續航力與熱限制。
另一項關鍵優勢來自網頁本身。使用者無需安裝或設定環境，只要透過連結即可立即存取應用程式，因此更容易觸及不同裝置與平台上的使用者。
實際應用案例
在延遲、頻寬或本機資料處理會影響使用者體驗的應用中，這些優勢尤其明顯。
例如，在即時視訊應用中，持續將視訊影格傳送到伺服器，會同時增加延遲與頻寬使用量。在本機執行 AI 則可支援背景特效與即時強化等功能。
同樣地，語音轉文字與文字轉語音系統都需要即時回饋。即使是很小的延遲也可能影響使用者體驗，因此當在有高效率模型可供使用時，本機推論就非常適合這類情境。
相片與影片編輯也是其他例子。直接在瀏覽器中處理媒體，可讓使用者在不必上傳個人內容的情況下使用AI功能，同時保有網頁工具的便利性。
在這些情境中，Web AI的價值來自於結合本機執行與網頁的使用便利性。
Web AI對Arm平台的重要性
Web AI對Arm平台尤其重要。Arm平台廣泛應用於各類裝置，包括智慧型手機、平板電腦、筆記型電腦與邊緣系統。由於Web AI應用程式是在瀏覽器中執行，開發者可用單一網頁應用程式鎖定這個多元生態系，無需為不同作業系統與裝置維護各自的原生實作。
這使網頁成為在 Arm 生態系中部署AI應用程式的一個極具吸引力的平台。不過，能否實現良好效能，取決於瀏覽器技術能多有效地運用於各裝置所提供的底層硬體加速能力。
Web AI如何運作
要了解Web AI如何善用多元的硬體環境，有必要檢視網頁應用程式與底層裝置硬體之間的各個層級。
Web AI技術堆疊
在瀏覽器中執行AI與原生應用程式不同，因為瀏覽器會在應用程式與硬體之間增加一層執行層。這一層提供可攜性與安全邊界，但也會決定應用程式如何存取運算API與硬體加速。
概括而言，Web AI 技術堆疊包括：
- JavaScript 或 TypeScript 網頁應用程式；
- Web AI 框架或執行環境（runtime）；
- 瀏覽器運算API（WebAssembly、WebGPU、WebNN）；
- 瀏覽器執行環境元件（執行引擎及其後端）；
- 底層硬體，例如 CPU、GPU，以及在可用情況下的 NPU 加速。
圖 2：Web AI技術堆疊
這個技術堆疊主要描述以框架為基礎的Web AI路徑，也就是網頁應用程式使用JavaScript框架，透過瀏覽器提供的運算API執行模型。瀏覽器內建AI API則採用不同的模式。
Web AI 框架
以框架為基礎的Web AI，是目前開發人員在瀏覽器中執行自訂AI模型最常見的方式。在這種方式中，應用程式會使用JavaScript框架來處理模型載入、張量管理、後端選擇與運算子執行。
這些框架的一項關鍵特性，是支援不同模型格式，並可將模型執行對應到可用的硬體加速能力。框架會將其中大部分複雜性抽象化。
圖 3：Web AI框架
MediaPipe Web、LiteRT.js 與 LiteRT-LM.js
MediaPipe、LiteRT.js與LiteRT-LM.js都屬於 Google 的 Web AI 生態系，但位於不同的抽象層。MediaPipe 著重於任務層API與應用導向工作流程。LiteRT.js 提供在瀏覽器中執行LiteRT 模型的執行路徑。LiteRT-LM.js是較新的工具，著重透過JavaScript API進行本機LLM推論。
Transformers.js與ONNX Runtime Web
Hugging Face 的 Transformers.js，設計目標是在功能上與廣受使用的transformers Python 程式庫相當。它可存取許多常用於自然語言處理、嵌入、分類及相關任務的模型類型。ONNX Runtime Web則能讓ONNX模型在瀏覽器環境中執行。兩者共同提供彈性的路徑，以運用更廣泛的ONNX與Hugging Face生態系中的模型。
瀏覽器運算API
若要了解以框架為基礎的Web AI，其效能、可攜性與硬體加速從何而來，可以進一步檢視這些框架所採用的瀏覽器運算API。
瀏覽器運算API提供Web AI框架在瀏覽器內執行模型運算所需的執行路徑。主要選項包括WebAssembly、WebGPU與WebNN；三者在可攜性、效能與硬體存取方面各有不同的取捨。
圖4：瀏覽器運算API
WebAssembly：可攜式CPU路徑
WebAssembly (Wasm)是一種低階、可攜式的執行格式，廣受現今主流瀏覽器支援。它能讓以C、C++與Rust等語言撰寫的程式碼在網頁上執行。
在Web AI中，Wasm 是廣泛可用的CPU執行路徑，當GPU加速不可用時，也常做為替代方案。Wasm對SIMD運算的支援可提升部分工作負載的效能，使其成為跨裝置的可靠基準。因此，Wasm可做為可靠的基礎，確保在各類裝置上具備廣泛的相容性。
WebGPU：瀏覽器的GPU加速
WebGPU提供對 GPU 資源的存取，可用於繪圖處理與通用運算。
對AI工作負載而言，這可支援神經網路常見運算的平行執行。WebGPU的支援情況取決於瀏覽器、裝置與平台設定。因此，許多應用程式會在執行階段進行功能偵測，並提供替代路徑，通常是透過 WebAssembly。
WebNN：網頁神經網路API
WebNN是專為神經網路推論而設計。相較於WebGPU，它提供較高階的抽象層，讓框架能以模型運算圖（model graphs）來描述運算。
依不同平台，執行工作可能會導向CPU、GPU或NPU。WebNN是Web AI生態系中正在發展的一環。隨著支援逐漸成熟，它將成為在瀏覽器中存取最佳化AI執行能力的一項重要途徑。
瀏覽器內建AI API
以框架為基礎的方式並非網頁取得AI功能的唯一途徑。另一種方式正透過瀏覽器內建AI API逐漸成形。這些API不需要開發人員自行導入並管理模型，而是直接將瀏覽器提供的AI功能開放給網頁應用程式使用。
舉例來說，Chrome提供內建AI API，可用於摘要、翻譯、寫作、改寫、校對，以及以提示詞為基礎的互動等工作。當內建功能已足以滿足需求時，就可減少直接管理模型的需要。
與上述以框架為基礎的路徑不同，瀏覽器內建AI API應視為瀏覽器所提供的功能，而不是Web AI框架的另一種執行後端。其內部實作因瀏覽器而異，可能仰賴瀏覽器原生元件或平台管理的元件，在此不一一探討這些細節，但在選擇如何建構Web AI應用程式時，區分這兩種方式可說相當重要。
選擇適合的Web AI方式
目前，以框架為基礎的Web AI與瀏覽器內建AI API皆已可用，因此開發人員必須選擇最符合其應用程式需求的方式。
以框架為基礎的方式，適合需要自訂模型、支援多種模型格式，或對推論有細部控制需求的應用程式。相較之下，若是常見AI任務，且優先考量簡單易用與無縫整合瀏覽器，內建瀏覽器API通常是較佳選擇。
有些應用程式可能會同時採用兩種方式，但應依據任務、所需控制程度，以及應用程式必須支援的瀏覽器與裝置來選擇。
結語
Web AI是一個新興且具發展潛力的方向，可透過瀏覽器為使用者帶來AI體驗。藉由讓AI工作負載在本機執行，它能支援回應迅速、重視隱私的應用程式，同時保有網頁部署易於存取且簡便的特性。
這對Arm平台尤其重要。單一網頁應用程式即可觸及廣泛的Arm裝置，而瀏覽器技術與Web AI框架也持續改善AI工作負載如何對應到可用硬體。
隨著標準、框架與瀏覽器功能持續演進，現在正是進行實驗、建立原型與投入開發的好時機。Web AI生態系正變得更加成熟且實用，創造新的機會，讓 AI 體驗更易於存取、分享，也能跨平台使用。
(參考原文：Web AI: Bringing on-device intelligence to the browser；本文英文版由Arm首席工程師 Koki Mitsunami 撰寫，是與Yusuf Duman共同合作成果的一部分。中文版由 Arm 首席應用工程師林宜均校閱；責編：Judith Cheng)
- 【Arm的AI世界】運用Web AI以瀏覽器實現裝置端智慧 - 2026/10/14
- 【Arm的AI世界】運用功能安全、容器與DDS打造安全且可擴展的汽車系統 - 2026/10/02
- 【Arm的AI世界】學習運用Neoverse CSS V3加速雲端SoC開發 - 2026/08/10
訂閱MakerPRO知識充電報
與40000位開發者一同掌握科技創新的技術資訊！
