當一種全新應用/技術在市場上出現，通常會帶頭「嘗鮮」的開發者社群往往是決定其成敗的關鍵角色；而如今對所有相關解決方案供應商來說，正準備起飛的Edge AI市場究竟能不能成氣候，來自開發者們的回饋絕對是不可忽視的寶貴資訊──這或許也是低功耗可程式化設計元件供應商萊迪思半導體(Lattice Semiconductor)在2023年首度舉辦「萊迪思開發者大會」(Lattice Developers Conference)的主要原因之一。
這場為期三天，以實體/線上模式同步舉行的大會號稱全球有數千註冊觀眾，聚焦Lattice低功耗FPGA解決方案的關鍵應用如Edge AI、安全、機器人以及新一代通訊等技術主題，也展現了該公司涵蓋產業上、下游廠商與跨領域軟硬體業者的豐富生態系夥伴資源，其龐大規模從來自Nvidia、BMW與Meta等不同領域重量級的專題演說講者陣容可見一斑。
根據Lattice表示，該公司自2018年以來生態系規模擴大了五倍之多，而全球採用FPGA解決方案的開發人員超過5萬名，設計案數量則一年有至少10萬個。為支援開發者的不斷創新，Lattice持續擴展軟硬體產品組合，在年度開發者大會期間也宣佈推出以該公司Avant中階平台打造的FPGA新產品——包括鎖定通用設計的Avant-G，以及支援先進連結介面的Avant-X。
Avant-G支援12.5G SERDES、最高PCIe 3.0與10G乙太網路，提供領先的訊號處理和AI、靈活的I/O，支援一系列系統介面，同時提供2400 Mbps的專屬LPDDR4記憶體介面。Avant-X以高頻寬和安全性為訴求，並號稱能根據客戶對訊號聚合(signal aggregation)和高資料處理量的需求客製化其功能集，提供最高1 T/s的總系統頻寬、配備硬核DMA的PCIe 4.0控制器，以及用於加密動態使用者資料的安全引擎，提供量子安全加密功能。
Lattice於開發者大會發表以Avant中階平台打造的FPGA新產品。(圖片來源：Lattice Semiconductor)
除了硬體新產品，Lattice亦宣佈更新解決方案集合(solution stacks)──即針對終端應用需求而量身打造的軟硬體工具套件──包括支援邊緣AI應用的sensAI、支援嵌入式視覺應用的mVision、實現安全功能的Sentry以及用於自動化工廠的Automate。更新的內容則包括升級加速器引擎以提升效能、擴展IP和參考設計、增加新的安全功能以及實現更多業界標準。
在軟體工具部分，則為Lattice的FPGA開發環境Propel和Radiant新增加對Avant-G和Avant-X的支援，並提升了Radiant軟體的易用性、最佳化其腳本編寫功能，還有擴展Propel的IP產品組合等。Lattice旗下透過收購軟體業者Mirametrix取得，可支援PC與周邊裝置使用者專注度感測(Attention Sensing)相關應用的電腦視覺軟體Glance也有更新，增加對低功耗Smart Avatar隱私功能和3D頭部姿勢偵測等功能的支援，著眼AI在邊緣裝置的應用。
Edge AI市場展望與應用情境
看好多元化的Edge AI應用發展，原本就以其FPGA元件的低功耗特性而在物聯網(IoT)應用領域著墨甚多的Lattice，也特別在開發者大會中強調了對這個新興市場的重視。在開場專題演說中，Lattice宣佈推出以Nvidia Jetson Orin與IGX Orin平台為基礎加速Edge AI應用開發的感測器橋接(sensor-bridging)參考設計開發平台，並邀請到Nvidia嵌入式AI產品管理總監Amit Goel站台解說。
Lattice表示，以該公司低功耗FPGA與Nvidia Orin平台為基礎的開放源碼參考設計開發板，能支援開發者在設計包括醫療、機器人、嵌入式視覺等高性能Edge AI應用時對連結各種感測器與介面，以及設計的可擴展性與低延遲等等需求。藉由提供提升連結感測器至Edge AI平台的效率，兩家公司期望能藉由此參考設計的推出助力開發者加速應用開發時程。
Lattice與Nvidia針對Edge AI應用合作推出感測器橋接參考設計。(圖片來源：Lattice, Nvidia)
Goel在介紹兩家公司合作推出的參考設計時則指出，感測器並不是以能夠直接與運算平台對話的架構來設計，其連結介面相當多元，而FPGA能實現彈性的互連與低延遲資料封包化(data packetization)，讓各種感測器收集的資料能順利交由GPU進行加速運算，提高Edge AI應用部署效率。這款參考設計開發板已經先少量提供給一些Lattice早期客戶，將於2024上半年開始廣泛供應。
而Goel特別強調，該參考設計平台意味著Lattice生態系與Nvidia的Jetson生態系之結合，相信雙方豐富資源的結合，將能更有助於為開發者簡化Edge AI開發任務。他在大會第二天一場以「Edge AI技術展望與使用案例」(Edge AI Technology Outlook and Use Cases)為題的專家座談中指出，Nvidia在2015年推出AI商用產品時，AI甚至在一些大公司內部都還只是研究題目，而如今整個生態系已經越來越成熟，有各種容易取得的工具、軟體與運算解決方案。
「如果你是一個開發者，首先應該要想的是在你所處的領域中，有什麼問題是能用AI解決的？一旦確定了方向，所需的工具都可以取得；」Goel在座談中透過回答主持人的提問提供台下開發者建議：「特別是現在生成式AI崛起，而訓練模型以及進行微調的成本都大幅降低，開發者只要下載開放的軟體工具套件、使用熟悉的程式語言，就能展開一個專案，像高中生做作業那麼簡單。」
他再次強調，思考特定領域中有什麼應用需要運算性能、需要頻寬與隱私保護，可以透過AI來解決的，是開發者著手進行Edge AI專案最關鍵的第一步。然而，這是一個剛起步的市場，即使工具齊備，也還沒看到真正的殺手級應用；對此另外一位與談人，來自市場研究機構More Than Moore的首席分析師Ian Cutress有一個妙喻：這就像是在淘金熱的時期，帶來了對十字鎬/鶴嘴鋤(pickaxes)工具的大量需求，但可能就連買鶴嘴鋤來用的人都不知道黃金何在。
Lattice開發者大會有一場座談以「Edge AI Technology Outlook and Use Cases」為題，邀請多位業界專家針對Edge AI應用市場與技術發表看法。(圖片來源：Lattice)
因此，對Edge AI軟硬體方案供應商來說，能提供盡可能大的彈性是相當重要的，因為在不同的垂直應用領域可能各種各樣的硬體需求，以及必須得一一適應不同硬體的軟體。Lattice透過FPGA元件的特性提供硬體上的彈性，並在過去幾年致力擴充軟體陣容以支援不同的終端應用，該公司在2021年對AI電腦視覺軟體開發商Mirametrix的收購就是其策略之一。
Mirametrix創辦人暨執行長Denis Lavelle目前是Lattice資深副總裁與Mirametrix軟體部門總經理，他除了強調為因應Edge AI應用硬體配置的多樣性，軟體必須保持彈性(也意味著開發的複雜性)，也指出終端使用者體驗的重要性：「無論軟體或硬體是什麼，一個Edge AI專案開發的第一步，就是要確定想要實現什麼樣的終端使用者體驗，並以此為出發點訂定實作策略。」
「這其中包括根據硬體的軟體最佳化，像是盡可能以最低算力與功耗達成最高品質的服務，以及選擇適合的AI訓練資料集；」他表示：「如今已經有很厲害的工具能加速AI模型的訓練與微調，對軟體開發者來說，在一開始將想要提供什麼樣的使用者體驗、以及如何維持使用者體驗的品質，會是第一個需要思考的問題。」
延伸閱讀：
- 【編輯檯報告】AI串聯無限可能…Computex來啦！ - 2024/06/03
- 【編輯檯報告】「邊緣人」五月天 - 2024/05/30
- 以服務精神經營Edge AI市場 DeepMentor志在實現「模型經濟」 - 2024/04/08
