Posted By 曾 成訓 on 1 月 27, 2019 in Edge AI開發地圖, Intel, 教學文 | 2 comments

本文說明邊緣運算的定義、比較 Intel 的 Neural Compute Stick 一代與二代的效能，並介紹如何建置及使用 PC 端的 compiler 及 edge 端的樹莓派環境。

維基百科對於 Edge computing（邊緣運算）這個名詞的定義是這樣的：

一種分散式運算的架構，將應用程式、數據資料與服務的運算，由網路中心節點，移往網路邏輯上的邊緣節點來處理。邊緣運算將原本完全由中心節點處理大型服務加以分解，切割成更小與更容易管理的部份，分散到邊緣節點去處理。邊緣節點更接近於用戶終端裝置，可以加快資料的處理與傳送速度，減少延遲。在這種架構下，資料的分析與知識的產生，更接近於數據資料的來源，因此更適合處理大數據。

維基的解釋似乎專業又繞口，但邊緣運算其實有個重要特點：事多錢少離家近。事多錢少指的是它們的工作類型單純卻又繁忙，多為過濾資料或進行初步計算分析的工作，但隨時得面對突如其來的資料而不得休息；離家近，則是指邊緣運算多位於最接近資料產生來源的附近，以便就近即時處理。

換而言之，邊緣運算是位於那些最接近資料來源的小型計算中心，主要功能在於收集、儲存、過濾、擷取、簡單的運算，將處理過的資料與雲端系統進行有效率的交換。原本單純的雲端在加入了邊緣計算後，整個系統將變得更加的即時，彈性，且更具效率。

邊緣運算的架構（圖片來源：SOLWAY COMMUNICATIONS）

以樹莓派來說，其硬體配備作為傳統的 IoT 邊緣運算中心是相當適合的，不過隨著 AI 浪潮的興起，巨量的資料以及大量的前處理需求，使得樹莓派這類的微型電腦力有未逮，此時便需要擴充其運算能力才能處理圖片或影像等大量且複雜的維度運算，Intel 的 Neural Compute Stick 便因應此需求而生，號稱每秒運行 1000 億次浮點運算（GFLOPS） 可作為 Deep learning on the Edge。

Intel Neural Compute Stick 介紹

Intel 的 Neural Compute Stick（以下簡稱為 NCS）是 2006 年收購 Movidius 後所推出的產品，第一代 NCS 甫推出便受到高度矚目，被視為 AI edge computing 推理運算的最佳接班人。第二代甫於去(2018)年底推出，其效能如下圖官網所示，執行 Image classification 及 Object Detection 的效能分別較第一代高了五倍與四倍。