作者：陸向陽
長期以來台北國際電腦展（COMPUTEX）一直是指標性的電腦展、資訊展，所以主軸一直是個人電腦，理論上與創客Maker無關，不過許多Edge AI邊緣運算系統是使用與大宗個人電腦相同的x86架構所構成，加上樹莓派也朝完整電腦方向發展，兩者的關係愈來愈近。因此，本文嘗試從本次的展覽中找尋Edge AI相關的技術蹤跡。
1. Hailo的Hailo-10晶片與板卡
圖1 具Hailo-10H晶片的板卡（圖片來源：陸向陽）
首先是國內業者展示以色列新創晶片商Hailo的Hailo-10晶片與板卡，過往Hailo以Hailo-8的Edge AI晶片打出知名度，之後陸續推出相關衍生晶片，如低功耗版的Hailo-8L，或強化AI影像能力的Hailo-15等，而筆者此次看到的是Hailo-10H，不過Hailo-10H是針對目前熱門的生成式人工智慧（GenAI）應用而來，不算Edge AI，但這也表示Edge AI晶片商靈活衍生發展，也擁抱GenAI領域。
圖2 ASUS IoT以NVIDIA Jetson模組為基礎實現邊緣運算
2. ASUS IoT的Jetson Edge AI方案
接著是華碩所屬的ASUS IoT展示一系列用NVIDIA Jetson系列模組板卡構成的Edge AI系統，例如PE2100N型即是用Jetson AGX Orin所構成，由於電路系統大體取用Jetson，因此ASUS IoT較多的著墨是在I/O的搭配組合以及強固的機殼機構設計上，同時要讓高效能的AI晶片能妥善散熱。
圖3 精英電腦展示用於微型衛星內的電腦（圖片來源：陸向陽）
3. 精英電腦AI加速方案
另一個與Maker略有關的是精英電腦（ECS）展示用於微星衛星內的電腦，主要是用於成功大學發展的微型3U（一個U等於10 x 10 x 10公分容積）立方衛星內，這讓筆者想起樹莓派電腦也用於太空站任務中，即Astro Pi專案。
圖4 偏左位置的為Neuchips公司的AI加速卡（圖片來源：陸向陽）
精英電腦也順帶展示我國新創商創鑫智慧（Neuchips）開發的Raptor系列AI加速晶片，以及用該晶片構成的Viper系列PCIe介面加速卡，一樣是主打目前當紅的Gen AI應用，大體仍是純資訊應用，不過因為其列舉的合適目標系統也包含工控電腦（IPC），因此估計也能用於Edge AI相關應用。
4. 南韓晶片商DeepX的晶片加速卡DX-H1: Quattro
這次COMPUTEX展上還出現了南韓的新創商DeepX，該公司發展推論專用AI加速晶片，既有用於桌上型電腦、伺服器的DX H1晶片，也有用於機器人內的DX M1晶片，或鑲嵌到更小系統內DX V3、DX V1晶片。
圖5 南韓晶片商DeepX展示用其晶片的加速卡DX-H1: Quattro（圖片來源：陸向陽）
5. 類似樹莓派的Kakip單板電腦
接續著，會場上日本Yuridenki-Shokai公司展示一片尺寸與樹莓派相仿的單板電腦Kakip，Kakip上使用日本瑞薩（Renesas）的RZ/V2H晶片，具有強大的AI推論效能，可達80TOPS，主要是因為該晶片具有DRP-AI3加速單元。
如果確定一起頭就要使用AI推論加速，確實使用一片Kakip會比較方便，或許因為如此導致樹莓派也開始增推AI硬體擴充套件，不過樹莓派的AI套件使用Hailo-8L晶片，推論效能約13TOPS，帳面數據上低於Kakip的80TOPS，在中重度的推論需求應用下Kakip有優勢。
圖6 類似樹莓派的Kakip單板電腦強調具有80TOPS的AI推論效能（圖片來源：陸向陽）
小結
由於Edge AI潛在市場龐大，各國都有新創晶片商投入發展，不僅前述的Hailo，也包含我國的耐能智慧（Kneron）、日本的EdgeCortix等，全球估計有數十家新創參與，事實上Google的Edge TPU也是。
除上述筆者的切片性介紹外其實還有更多的展出，不僅是ASUS IoT，許多工控電腦商也有投入與展示使用Jetson系列的邊緣運算系統，或者Synaptics也有展示Edge AI相關的技術方案，即Astro晶片。
此外筆者也經過臺灣發展軟體科技（Skymizer）攤位，該公司過往主要是開發與推行Edge AI/TinyML訴求的ONNC編譯器軟體，現在則擴展延伸到提供AI硬體加速電路的矽智財（IP）授權業務。
總之，COMPUTEX Taipei 2024展上也有豐富多樣的Maker相關技術、產品與方案，若錯過今年，透過本文也可以更充分準備與期待明年。
- 利用Ollama速成本機端LLM大對話應用 - 2024/09/25
- 2GB、50美元！第五代樹莓派降規降價 - 2024/09/11
- 【Crowd Funding】具有 AI 加速器的強大 5G 單板電腦 – Tachyon - 2024/08/29
.jpg)
.jpg)