【AI邊緣運算】Google Coral USB Accelerator 開箱評比

Posted By 曾 成訓 on 7 月 8, 2019 in Edge AI開發地圖, Google, 教學文, 評測, 開箱文 | 0 comments

一提到 AI，我們腦海中總會浮現如火星文般的複雜演算法、深不可測的神經網路、數量龐大到以 TB 計數的 dataset 以及高速運算耗電量驚人的 GPU 等，它們可能存在於雲端，甚至就在自家機房的內部；然而，儘管它們的演算法再精確、GPU 運算再迅速、網路傳輸再加快，還是無法滿足一般使用者最基本的需求：即時回饋，因此更貼近使用者、無延遲的「Edge AI」近年來大量興起，而前述龐大笨重的 AI 系統則隱身幕後稱為「Centralized AI」，兩者便組成 Distributed AI 的架構。

Edge AI 與 Centralized AI 架構的差別（圖片來源：Linkedin）

如上圖左側，Edge AI 佈署於使用者終端，專用於「推論及決策」等動作，可滿足低延遲、快速回應的 AI需求，例如 Robots、Drones、Portable or Mobile Devices、Outdoor Devices 等。

Google Coral USB Accelerator

目前市面可滿足 Edge AI 的硬體裝置的選擇相當多，大致可分為可單獨運行的單版 AI board 與 USB 接口無法獨立運行的 AI 加速器。今天要開箱的是一片可以透過 USB 與樹莓派搭配的 AI 加速器：Google Coral USB Accelerator，它的外形與功能很容易讓我們聯想到 Intel 的 Neural Computing Stick（NCS），這兩種都屬於針對「深度學習運算」特別設計的 ASIC IC（Application Specific Integrated Circuit），它們兩者都非常適合平行的處理大量加乘運算，但也由於專用於特定用途，因此它們只支援有限的深度學習框架，而且必須先將模型轉換為特定的中介格式後才能運作。