【Edge AI專欄】從Embedded World 2023看Edge AI及TinyML最新發展趨勢

Posted By 許 哲豪 on 4 月 27, 2023 in Edge AI, TinyML, vMaker, 產品新訊, 產業趨勢 | 0 comments

 

作者：Jack OmniXRI

相信大家最近應該都沈浸在ChatGPT、DALL-E2、Midjourney、Bard、GPT4等大型AI語言模型及生成式應用中，感受著AI帶來的新奇體驗，殊不知另一場精彩的嵌入式AI應用展覽及研討會也在德國紐倫堡順利落幕了，那就是2023年嵌入式世界展會[1] (2023/03/14 – 03/16, Embedded World Exhibition & Conference 2023,以下簡稱EW23)。

這項展會為全球最大的嵌入式電子與工業電腦應用展，除了常見的工業電腦（含單板微電腦）、微控制器(含MPU/MCU/DSP)、數位看板、智慧物聯網(AIoT)、自動控制、交通、物流、安防、零售、醫療、 業等領域外，當然其中也包含了許多Edge AI及TinyML的應用。

在嵌入式系統中最重要的硬體核心就是微處理器(Micro Processing Unit, MPU)或微控制處理器(Micro Control Unit, MCU或俗稱單晶片)。前者主要應用於工業電腦、中高階單板微電腦（如樹莓派類）、手機等，會運行特定作業系統（如Windows, Linux, macOS, Android等）；後者多半應用於中小型電子裝置，小到穿戴式裝置、白色家電，大到工業可程式控制器、伺服馬達控制器中都能見到其身影。

這兩者最大差異是後者把中央處理器(CPU)、靜態記憶體(SRAM)、快閃記憶體(NOR Flash)、輸出入控制(GPIO)、通訊介面（如UART、I2C、SPI等）都整合在同一顆晶片中，而前者因需執行較大的程式及較複雜的計算，所以通常會把記憶體(DRAM)和快閃記憶體(NAND/NOR Flash)排除在外，而將重點放在更強大的運算力上。

此次EW23推出了不少MPU和MCU及對應的開發板，除一般的計算、控制、通訊功能外，亦開始向Edge AI及TinyML移動。其中有幾個值得關注的趨勢：

1.  晶片內嵌神經網路處理器(MPU/MCU + NPU)
2.  RISC-V晶片及開發板成長迅速
3.  系統模組板化(System on Module, SoM)
4.  Edge AI及TinyML創新應用

以下就針對這幾項分別為大家介紹幾個亮點產品，希望能讓大家更了解最新發展趨勢。

1. 晶片內嵌神經網路處理器(MPU/MCU + NPU)

關於MPU及MCU為什麼要加入神經網路處理器(Neural Network Procssing Unit, NPU)或稱深度學習加速器(Deep Learning Accelerator, DLA)及加入後有什麼好處，可參考“MCU攜手NPU讓tinyML邁向新里程碑”[2]，這裡就不多作介紹了。本次EW23亮相了許多傳說中的晶片，以下就簡單依廠商名稱英文排序介紹其重點規格：

1. Aspinity, AML100, 類比機器學習晶片，常時(Always on)工作電流小於20uA，可適用類比麥克風輸入作為智慧聲音辨識（如玻璃破碎聲）。有配套AB2 AML100 Application Board，另可搭配Renesas EK-RA4M3 Quick-Connect IoT開發板。[3]
2. Hailo, Hailo-8, AI專用加速器，INT8下可達26TOPS。[4]
3. 奇景光電(Himax), WiseEye WE-2, Arm Cortex-M55 (MCU) + Ethos U55(NPU)組合，細部規格未公開，MCU及NPU部份可參考Arm官方資料。[5]
4. 瑞薩(Renesas)，
   • RA8系列, 世界第一款亮相的Arm Cortex-M85晶片，細部規格不明，MCU部份可參考Arm官方資料。
   • RA4E2/RA6E2系列, Cortex-M33 @100/200MHz, 128KB/256KB Porgram Flash, 4KB Data Flash, 40KB SRAM。[6]
5. 芯科(Silicon Lab), EFR32xG24, Arm Cortex-M33 @78MHz, 1536KB Flash, 256KB SRAM,具有NPU（規格不明），有配套開發板xG24-DK2601。[7]
6. 意法半導體(ST),
   • STM32N6, 具有NPU，首次亮相，硬體規格不明，但就過往釋出的新聞稿規格說明來看，猜測很有可能是Arm M55+U55的組合。
   • STM32H5, Arm Cortex-M33 @250MHz, 2MB Flash, 640KB SRAM, 375DMIPS,有配套開發板NUCLEO-H563ZI, NUCLEO-H503RB。[8]
   • STM32MP13x, Arm Cortex-A7 @1GHz MPU, Ethernet。[9]
7. 德州儀器(TI),多款Arm Based MPU+DLA[10]
   • AM62A, Arm Cortex-A53 @1.4GHz x4, Cortex-R5F x2, C7x DLA 2TOPS。另有配套SK-AM62A-LP Start Kit開發板。
   • AM68A, Arm Cortex-A72 @2.0GHz x2, Cortex-R5F x4, C7x DLA 8TOPS。另有配套SK-AM68 Start Kit開發板
   • AM69A, Arm Cortex-A72 @2.0GHz x8, Cortex-R5F x4, C7x DLA 32TOPS。另有配套SK-AM69 Start Kit開發板。
   • TDA4VM, Arm Cortex-A72 @2.0GHz x2, Cortex-R5F x6, C7x x2 + C66x x2 DLA 8TOPS。另有配套SK-TDA4VM開發板。

補充說明：Arm Cortex-A系列為MPU，Cortex-M系列為MCU，其中Cortex-M33為ArmV8-M指令集，Cortex-M85為ArmV8.1-M指令集，對AI加速有更多的支持。TI C7x為數位信號處理器(DSP)亦可作為DLA使用。TOPS為每秒一兆(10^12)次運算。

Fig. 1 EW23展會MPU/MCU+NPU相關產品。(OmniXRI整理製作, 2023/4/17)(影像來源：[3~11]）

2. RISC-V晶片及開發板成長迅速

最近幾年由於晶片供貨一直不穩定，相關矽智財(IP)授權費用增加及客製化需求越來越高，所以導致開源的RISC-V CPU指令集晶片倍受重視，市場成長迅速，陸續有廠商投入相關晶片開發，尤其是大陸廠商，從去年開始就有許多晶片完成上市。

目前RISC-V除標準指令集外，亦有新增了單指令多資料流(SIMD)及向量(Vector)指令集(P及V Extension)，更能適用AI加速計算，當然亦保留各廠商自行加入的客製化指令集來加強特定需求的功能。此次EW23也有不少廠商展出其晶片及開發板，以下就簡單依廠商名稱英文排序介紹其重點規格：

1. Codasip, L31/L31F, 32bit RISC-V CPU (RV32IMCB/RV32IMFCB), 可支援TensorFlow Lite for Microcontroller(TFLite-Micro)及IAR開發工具。[12]
2. GreenWaves, GAP9, 9+1 Cores RISC-V 超低功耗小型感測器用AI加速運算器，15.6 GOPS DSP, 32.2 GMACS。[13]
3. Renesas，主要採用台灣知名RISC-V IP供應商晶心科技(Andes)的核心。
   • R9A02G020, 32bit MCU, AndesCore-N22 @32MHz, 48KB Flash, 16KB SRAM, 4KB ECC，有配套R9A02G020 ASSP EASY Motor COntrol Kit。[14]
   • RZ/Five, 64bit MPU, AndesCore AX45MP(with SIMD/FPU) @1.0GHz, L2 Cash 256KB, SRAM 128KB，有配套RZ/Five EVB。[15]
4. 華碩(Asus)IoT, Tinker V 開發板, 使用Renesas RZ/Five晶片，板上另配有1GB DDR4, 16GB eMMC (Flash)。[16]

補充說明：GOPS為每秒十億(10^9 )次運算，而GMACS為每秒十億(10^9)次乘加運算。

Fig. 2 EW23展會RISC-V相關產品。(OmniXRI整理製作, 2023/4/17)(影像來源：[12~16]）

3. 系統模組板化(System on Module, SoM)

以往的單板微電腦（如樹莓派之類）多半是將主晶片置於開發板上再配置各種週邊擴充界面，如GPIO、UART、SPI、I2C、USB、CSI、DSI、EtherNet等，設計完成開始生產後就無法變更。當遇到需要不同尺寸、不同數量擴充界面，甚至彈性電源管理系統時，就要開發多種不同的開發板，對於製造端會產生很多麻煩及庫存。於是把核心晶片作成卡片型式的系統模組板(SoM)，再透過開放或封閉式卡槽介面連接擴充底板的作法便開始流行起來。

這樣作有較多的彈性及互換性，同時解決高密度、高複雜度的多層板設計問題，讓一般使用者都有機會自行設計客製化擴充底板，甚至可設計特殊底板同時插多片系統模組板作叢集電腦。常見的樹莓派Pi 4的計算模組(Compute Module) CM4，Nvidia Jetson系列也是採用系統模組板加擴充底板方式完成。此次EW23亦有多款系統模組板被推出，以下就簡單依廠商名稱英文排序介紹其重點規格：

1. 1. 研華(Advantech), VEGA-X110, 採用行動PCI Express模組(Mobile PCI Express Module, MXM)介面，主要應用於筆記型電腦。主晶片為Inte GPU Arc A370M，Xe-Core x8，1550MHz, 4GB GDDR6，可搭配Intel OpenVINO進行推論加速工作。[17]
   2. Arduino, Portenta C33, 使用Renesas R7FA6M5BH2CBG MCU(Arm Cortex-M33 @200MHz, 2MB Code Flash, 8KB Data Flash, 512KB SRAM) + ESP32-C3-MINI-1U(WiFi) 雙晶片，採2.54mm雙排針孔位(14pin x2)，相容於Portenta H7開發板，可使用排針或直接以郵票孔焊在另一塊PCB板上。[18]
   3. Edge Labs, 由einfochips, 艾睿(Arrow)和高通(Qualcomm)合作共同成立，推出 Aikri-42X-10LS，主要使用高通QRB4210晶片，內含 64bit CPU Kyro @2.0GHz x1, Kyro @1.8GHz x1, Hexagon DSP, 3GB LPDDR4, 32GB eMMC(Flash), Adreno GPU 610,板上採自定義四組高密度(90 pin)PCB板用連接器。[19]
   4. MicroSys, miriac MPX-32G399A, 使用NXP S32G399A晶片，內含Arm Cortex-A53 x8, Cortex-M7 x4, 4GB LPDDR4, 20MB SRAM, 64MB QSPI Flash, eMMC 32GB, 採自定義314 pin edge connector。[20]
   5. SECO, Maury，採用智慧行動架構(Smart Mobility Architecture, SMARC)介面，主要應用於行動裝置。主晶片使用NXP i.MX 93, Arm Cortex-A55 @1.7GHz x2, Cortex-M33 @250MHz x1, Ethos U65 NPU x1，很適合作為AI應用。[21]
   6. Variscite, 共推出二款SOM，採用自定的板卡200pin介面，類似記憶模組的SO DIMM接腳，自家所有SOM接腳皆可相容。[22]
   7. VAR-SOM-MX93，使用NXP i.MX 93。
   8. VAR-SOM-AM62，使用TI AM625。

Fig. 3 EW23展會SoM相關產品。(OmniXRI整理製作, 2023/4/17)(影像來源：[17~22]）

4. Edge AI及TinyML創新應用

此次EW23有許多精彩的Edge AI及TinyML的應用，前者多半用於影像辨識相關應用，而後者多半用於智慧感測器。以下就簡單列舉幾個產品提供大家參考。

1. 凌華(Adlink), AI Camera Dev Kit, 整合8MP攝影機、Nvidia Jetson Nana, RTC電池，很適合做為概念驗證(PoC)使用，可用於影像辨識、物件偵測、姿態偵測等應用。[23]
2. 高通(Qualcomm), Robotics RB2 Development Kit(QRB4210), 主要使用高通QRB4210晶片，內含 64bit CPU Kyro @2.0GHz x1, Kyro @1.8GHz x1, Hexagon DSP, 3GB LPDDR4, 32GB eMMC(Flash), Adreno GPU 610, 其開發套件已整合攝影機，很適合用於掃地機器人、服務型機器人、智慧攝影機等AI影像應用。[24]
3. Useful Sensors, The Person Sensor[25],很迷你的TinyML智慧視覺感測器，主要使用奇景(Himax) HX6537-A (DSP based)，可用於人員追蹤，此產品已於CES2023展出過，可參考[26]說明，這裡就不多作介紹。
4. Reloc, BrickML,主要功能用於測量和監視機器健康狀況，是和Edge Impulse合作的作品，亦為今年TinyML Summit得獎作品。主要使用ARM Cortex-M33 (with FPU) @200MHz, 2MB Code Flash, 8KB Data Flash, 512KB SRAM, 128Mbit QSPI Flash(on board)。該產品整合麥克風、九軸運動感測器、溫濕度及電流感測器，另有搭配BLE 5.1，很適合遠端無線監控設備狀況，如馬達、水泵等工業設備。[27]

Fig. 4 EW23展會Edge AI & TinyML相關創新應用。(OmniXRI整理製作, 2023/4/17)(影像來源：[23~27]）

小結

從此次EW23的展出充份讓我們看到小型AI的未來性，隨著電子技術不斷進步，小尺寸、高算力、豐富週邊及多樣通訊能力的晶片和開發板越來越容易取得，且價格也越來越平價，開發工具也越來越多選擇，對於開發者來說更容易開發小型Edge AI電腦視覺及常時開啟(Always On)的TinyML智慧感測器應用，期待在大家的創意下能有更多有趣和精彩的作品誕生。

（本文經同意轉載自vMaker，原文連結；責任編輯：謝嘉洵。）

• About
• Latest Posts

許 哲豪

工作經驗超過二十年，主要專長機電整合、電腦視覺、人機互動、人工智慧、專利分析及新創輔導。曾任機電整合工程師、機器視覺研發副理、技轉中心商業發展經理。目前擔任多家公司兼任技術顧問並積極推廣實境互動相關技術。
主持歐尼克斯實境互動工作室(OmniXRI)：http://omnixri.blogspot.com
Edge AI Taiwan邊緣智能交流區：https://www.facebook.com/groups/edgeaitw/

Latest posts by 許 哲豪 (see all)

• Nvidia GTC 2024 提出的 FP8/FP4 如何加速AI訓練及推論 - 2024/03/27
• 【Edge AI專欄 #15】從MWC 2024看AI手機未來發展 - 2024/03/26
• 如何在Google Colab上運行OpenVINO Open Model Zoo範例 - 2024/03/07