作者:陸向陽
關於Edge AI相信多數人已有概念,即是在IoT整體系統導入AI技術後,為了能更快速反應、更安全、更穩定,或節省通訊流量開銷等各種考量,決議把AI的推論工作從雲端(Cloud)下放到邊緣端(Edge),但學習工作仍保留在雲端。
概念如此,但IoT實際應用有各種可能,並非所有應用都需要Edge AI,例如橋樑結構的強度偵測不易快速轉劣,仍有寬裕時間可在雲端上進行推論,再出動養工團隊進行補強;或智慧建築偵測外窗光照程度,進而對應調整室內照明亮度,也沒有在數毫秒、數秒內立即反應的迫切性。
理論上只要運算力足夠,任何IoT閘道器都可以執行AI推論工作,目前尚少有設備商針對Edge AI推出對應的IoT閘道器,至多以選配(optional)方式提供AI推論加速能力。
新硬體AWS Panorama如何運作
基於上述分析,AWS推出的Panorama是一個IoT閘道器,且專門用來執行電腦影像(Computer Video, CV)的AI推論工作,Panorama有何特別之處?為何AWS要推出它?著眼為何?
首先Panorama設置在感測現場(本身有IP-62的防水防塵能力),而在其更前端的是感測節點,即是攝影機。接著Panorama從AWS雲端(運用S3雲端儲存服務)下載AI模型與相關程式到自己的本機內安裝,之後持續接收各攝影機傳送過來的影像,對影像進行推論研判,並顯示出推論結果,或依據推論結果有更多的後續命令與動作。
而存在雲端的AI模型與相關程式,其實也是事先從自家電腦上傳的,後續要更新模型與程式也比照相同程序進行,同時也能在雲端控管多台Panorama(運用AWS IoT裝置管理服務),例如查看運作狀態及日誌,或批次更新每台Panorama的程式。
Panorama支援多種AI模型,如Apache MXNet、Keras、ONNX、PyTorch、TensorFlow,以及TensorFlow Lite等,當然也支援AWS自家Amazon SageMaker(AI訓練雲端服務)所建立的模型,更具體而言是最佳化過的SageMaker Neo模型。
Panorama如何計費?
若要使用Panorama,一台機器要4,000美元 (約113,374 新臺幣);然後,每一個攝影機的視訊串流接收每個月要支付8.33美元;另外,前面提到所有模型與程式都是透過S3下載到Panorama機內才能安裝執行,每1GB每個月收取0.1美元。如果一台Panorama搭配7個攝影機,然後1個月使用200MB雲端儲存空間,則支付月費如下:
- 4000 x1 = 4000
- 33 x7 = 58.31
- 1 x 0.2 = 0.02
合計4058.33美元
透過上述可推測,AWS初期的主收益目標是銷售Panorama本體,但到了中後期會轉移到每月的攝影機視訊流收益,獲得細水長流的持續收入,至於雲端儲存收益微乎其微,幾可忽略不計。當然,若用戶因為使用Panorama而延伸採用更多的AWS雲端服務,對AWS而言則更理想。
至於AWS為何要推Panorama?除了上述的技術布局收益外,估計是過往全然以雲端收容視訊流而後推論的作法,被客戶認為反應不及,或涉及敏感視訊內容,或視訊全部存於雲端開銷過大等,因而推出Panorama,視訊內容不再上傳雲端,推論也直接在用戶端進行。
AWS官方實際案例
說了老半天還是過於「形而上」,AWS官方也舉數個實際案例,例如溫哥華Fraser港(北美第三大港)在港口各處安裝攝影機,用來觀察、分析追蹤大量的集裝箱,進而改善港口貨運的流程效率。
Tyson食品公司則在其食品包裝產線上設置攝影機,用來檢查包裝品質,一有瑕疵立即反應。辛辛那提國際機場也透過多個攝影機隨時監控機場交通車的車道(面積廣大,7萬平方英呎),一有車輛故障或車道問題立刻反應與協助。
其他還有油品零售商在各零售點設置攝影機,同樣著眼於營運最佳化檢討分析、客戶體驗改善分析。bpx Energy(BP英國石油的部門)也用攝影機來監控石油天然氣的探勘與生產工作,監看營運的安全,是否有員工誤入動態性的禁區等。
Panorama硬體規格
底下列出Panorama的硬體規格,看看它是不是值4,000美元了!
- 處理器與繪圖處理器:NVIDIA Jetson Xavier AGX搭配32GB記憶體
- 乙太網路:1000Base-T x2
- USB埠:USB 2.0 x1及USB 3.0(A型接頭的母頭)x1
- HDMI輸出:2.0a規格 x1
- 尺寸:19.7 x 24.3 x 4.0公分
- 重量:1.7公斤
- 功耗:65瓦
最後提供兩支開箱影片,有興趣的朋友可以收看了。
https://www.youtube.com/watch?v=xRxAWClUTZchttps://www.youtube.com/watch?v=fZevowb1tyE
(責任編輯:唐育琪)
- Sony強力加持!樹莓派發表專屬AI攝影機 - 2024/10/28
- 【Qualcomm Inside】12TOPS Edge AI單板RUBIK Pi規格剖析 - 2024/10/20
- TinyML潛力股!MicroFlow挑戰TensorFlow Lite for Microcontrollers - 2024/10/15