生成式AI在2023年爆紅，迄今仍熱度不減，該技術在邊緣端裝置的應用預期將會是2024年備受關注的焦點之一，眾家業者也陸續推出相關解決方案；其中成立於2015年、擁有台灣血統的AI晶片設計業者耐能智慧(Kneron)，於2023年底針對企業應用發表以該公司神經網路處理器(NPU)技術為基礎的KNEO 300系列EDGE GPT邊緣裝置，主打可藉由在裝置本地端(不須連結網際網路)運作GPT大語言模型，為使用者實現低延遲、高效率且具備隱私保護與資料安全性的各種Edge AI推論應用，在市場上掀起一波討論熱潮。
耐能創辦人暨執行長劉峻誠近日接受MakerPRO專訪時透露，KNEO 300發表後市場反應熱烈，訂單呈現供不應求的狀態；不久前Kneron還宣佈該產品已獲得美國史丹佛大學採購、將應用於該校的科學研究與教學活動，顯示該產品受到重視的程度。劉峻誠表示，具備30TOPS算力、支援CNN與Transfomer等主流AI模型框架的KNEO 300與採用GPU的系統解決方案相較，除了在成本上更具競爭力，在功耗方面的表現也更佳，甚至可以免風扇運作；目前KNEO 300可支援3~5人同時上線，適合中小企業或單一部門的使用情境，未來將會推出可支援20~50人上線、適合更大規模應用的版本。
耐能的Edge GPT裝置Kneo 300支援支援CNN與Transfomer等主流AI模型框架。(圖片來源：Kneron)
強調簡單易用的No-Code開發平台
根據耐能團隊成員的實際操作展示，只需要透過介面簡單易用的開發平台，將相關原始資料(支援PDF等文件檔案格式)「餵」給KNEO 300，在幾分鐘內就能實現像是宮廟解籤、學術資料庫檢索等以自然語言進行對話的問答機器人。劉峻誠強調，EDGE GPT的目的就是讓每家企業、每個人輕鬆打造自己專屬的ChatGPT，使用者不需要具備程式設計專業，也能自行更新、擴充原始資料。因為無須連網，KNEO 300除了可提供保障機密資料與個人隱私不外洩的安全性，也能節省網路傳輸頻寬費用；值得一提的是，該系統採用耐能自家訓練的基礎模型(非OpenAI的GPT)，這也能進一步降低使用成本。
耐能是在2019年正式發表第一代針對邊緣應用的AI晶片KL520，並推出內含該晶片、外型如USB隨身碟的AI加速棒(USB AI Dongle)；儘管當時產業對AI技術的關注焦點仍集中在雲端，Edge AI對大多數人來說是一個陌生的名詞，但劉峻誠表示，耐能很早就進軍教育領域，在許多學校都有開設利用該公司KL520 AI加速棒的AI專案實作課程，該公司的開發平台是「連小學生都會用！」他還舉了一個螺帽工廠設置自動化產品檢測生產線的案例，表示該傳統產業客戶的團隊大多數是5、60歲、沒有學過程式設計專業的老師傅，也能輕鬆使用耐能的平台完成資料訓練以及終端應用部署等開發流程(耐能AI加速棒的開發環境建置可參考CIRCUS Pi的教學文)。
除了AI加速棒，耐能的KNEO線上商店也供應各種開發板。
以KNEO為核心建構Edge AI生態系
除了支援Windows與Linux環境，耐能的AI加速棒亦能搭配Raspberry Pi單板電腦；劉峻誠秀出了一張結合多個加速棒以實現Edge AI應用的照片，透露KNEO 300的開發靈感就是來自這種「土法煉鋼」式的創新(在系統內結合了多顆耐能的晶片，但細節當然是商業機密)。而耐能也透過建置KNEO線上市集，讓開發者能將自己的Edge AI專案成果以類似應用程式商店的模式分享給社群，若獲得其他廠商或開發者採用，也能從中賺取利潤。
藉由KNEO線上市集並結合區塊鏈技術，耐能期望能構築一個結合軟硬體資源、開發者、消費者與各種廠商的Edge AI產業生態系。
透過KNEO平台的建置，耐能試圖構築一個結合軟硬體資源、開發者、消費者與各種廠商的Edge AI產業生態系。根據耐能官網的介紹，KNEO是一個由採用耐能技術的邊緣裝置所組成的「私有網狀智慧網路」(private mesh intelligence network)，其概念如同智慧型手機與應用程式商店，能為使用者提供個人化的行動AI應用，也能為AI開發者提供一個開放平台，以主流機器學習框架與AI模型，為KNEO網路中的使用者(包括終端消費者與企業)構建AI 應用程式。而耐能也特別強調KNEO平台的安全性，表示藉由結合區塊鏈(blockchain)技術，KNEO使用者能自由掌控私有資料，決定是否交換/出售給感興趣的買家，將它們轉換為可管理的數位資產。
NPU將在Edge AI時代扮演要角
近幾年自AI成為「顯學」以來，能在雲端執行巨量資料處理與模型訓練任務的CPU、GPU或專用ASIC成為半導體領域的當紅炸子雞，也讓相關元件供應商備受關注；但當市場焦點開始轉向終端裝置以推論為主的各種應用，劉峻誠認為，NPU將開始發揮其龐大潛力，成為實現Edge AI的關鍵角色。他指出，就像以往因為宣傳GPU最適合用來打遊戲，繪圖處理效果比CPU更好；而NPU元件在執行神經網路與深度學習模型訓練與推論任務方面，無論是效率或功耗表現都更具優勢，成本競爭力也更高，是Edge AI裝置的理想選擇。
不同於其他NPU，以耐能獨家可重構人工神經網路(Reconfigurable Artificial Neural Network ，RANN)為基礎的可重構NPU架構，號稱具備更大的靈活性、可擴充性與適應性；例如其第4代可重構NPU可以同時運作CNN與Transformer網路，在支援機器視覺功能的同時也能執行語意分析，能針對不同應用需求動態調整硬體配置，透過動態記憶體存取(Dynamic Memory Access，DMA)以同一神經網路支援不同的資料精度需求，讓NPU單晶片能擁有ASIC的高性能，又不犧牲數據密集型演算法的可編程性。
從2019年發表第一代AI單晶片KL520 (採用2顆Arm Cortex-M4核心與耐能第一代NPU KDP520)迄今，耐能以每年一款新型晶片的頻率，陸續推出KL720 (2020年發表，Cortex-M4核心+DSP+耐能KDP 720 NPU)、KL530 (2021年發表，Cortex-M4核心+晶心RISC-V D25F處理器+耐能KDP 530 NPU，首款支援車規晶片)、KLM5S3 (KL630系列，2022年發表，Arm Cortex-A5核心+耐能第三代NPU)，以及KL730 (2023年發表，四核心Arm Cortex-A55+DSP+耐能KDP 730 NPU)，針對不同應用情境與運算性能需求提供具差異化的解決方案。
耐能第一代AI SoC KL520晶片架構。
耐能KL720晶片架構。
耐能KLM5S3晶片架構。
耐能KL730晶片架構
耐能的AI晶片已運用於包括智慧門鎖、保全監控、嬰兒監視器等智慧家庭設備，以及智慧工廠生產線、智慧車輛先進駕駛輔助系統(ADAS)、企業用邊緣伺服器等等終端系統，並藉由KNEO 300的推出進軍更廣大的市場領域；而除了硬體產品，AI模型與演算法的開發、產業生態系的建置，對開發者的支援以及與教育單位的合作(包括人才培育)，也都是耐能關注並積極參與的項目。儘管劉峻誠一直強調，耐能是一家「很小很小的公司，以有限的資源做這麼多事情真的不容易；」但在Edge AI應用已經起飛的此刻，看來他們已經準備好為實現「人人都能使用AI的」願景全力衝刺！
- 以服務精神經營Edge AI市場 DeepMentor志在實現「模型經濟」 - 2024/04/08
- 【科編出身】編輯檯報告 - 2024/03/22
- 以可重構NPU實現邊緣應用 耐能致力推動AI民主化 - 2024/03/08
