將巡迴亞太區七大城市的Arm年度科技論壇(Arm Tech Symposia 2023)在11月1號以台北為首站起跑，以「The Future is Built on Arm」為主題，邀集Arm海內外專家與生態系合作夥伴，探討涵蓋資料中心、PC、車用與物聯網(IoT)裝置等應用的運算技術發展趨勢與最新解決方案，吸引上千位聽眾齊聚一堂。
無所不在的人工智慧(AI)也是今年Arm科技論壇的焦點議題之一，在開場演說中，Arm台灣總裁曾志光特別強調該公司強健的全球生態系，能協助產業落實AI應用，為消費者打造最好的產品與使用者體驗；而Arm終端產品事業部產品管理副總經理James McNiven則在接下來的專題演說中，描述Arm將透過提供從雲端到網路邊緣終端裝置所需的運算解決方案，根據客戶所需性能與軟體提供陣容堅強的技術支援。
此外Arm科技論壇台北場還舉辦了一場以「Edge Computing on AI」為題的座談，著眼邊緣人工智慧(Edge AI)應用的未來發展潛力，由包括曾志光、手機晶片大廠聯發科技(MediaTek)執行副總經理暨技術長周漁君，以及AI 數位轉型解決方案供應商iKala共同創辦人暨執行長程世嘉三位與談人，分別從AI零組件與終端服務等不同角度，針對AI對台灣半導體產業發展的影響、以及如何透過本地產業生態系廠商之間的合作加速實現AI應用落地進行意見交流。
2023 Arm 科技論壇中（左起）iKala 共同創辦人暨執行長程世嘉及聯發科技執行副總經理暨技術長周漁君與台灣總裁曾志光進行關鍵對話。
積極與業界合作建構未來AI基礎
從Arm科技論壇的內容安排與各方專家意見可以看出的明顯趨勢是，在AI時代，無論是軟/硬體開發者或是產業界上、中、下游廠商，彼此間必須要有更緊密的合作才能實現各種創新應用，讓終端使用者能享受到AI帶來的便利；為此Arm也宣佈多項全新的策略合作。
在一篇新聞稿中，Arm資深副總裁暨架構長與院士 Richard Grisenthwaite 表示：「AI的廣泛應用仰賴於硬體與軟體創新的持續協同。這種組合將在每一個技術接觸點上提升AI能力，從在邊緣執行工作負載的最小型感測器，到處理複雜工作負載以訓練大型語言模型的超大型伺服器。隨著生態系不斷地發掘AI的真正潛力，安全性、永續與資料上限顯然地都將成為挑戰。因此，持續探尋整個產業中的合作機會極為重要，如此才能大規模實現AI的部署，包括加大邊緣的推論能力。」
Arm正與AMD、英特爾(Intel)、Meta、微軟(Microsoft)、Nvidia與高通(Qualcomm Technologies)等市場領先合作，透過各項計畫聚焦於促成先進的AI能力，以帶來更高的回應性、且更安全的使用者體驗。這些合作將在各個運算進行之處，為超過1,500萬名Arm架構的開發人員打造所需基礎框架、技術與規格，帶來次世代AI體驗。
與Nvidia在TAO工具套件的合作
Arm指出，生成式AI與大型語言模型(LLM)正成為關注焦點，有鑑於在智慧手機領域有高達七成的第三方AI應用程式在Arm CPU上運作，該公司除了持續探索如何以永續方式實現AI與更高的效率進行資料傳輸，也積極推進在邊緣端執行AI與ML模型，協助開發人員突破運算資源的侷限。
為此Arm正與Nvidia合作，在後者的TAO低程式碼開源工具套件進行調整，以運用於在Arm Ethos-U NPU部署高效率的視覺AI模型，TAO提供了易於使用的介面，支援TensorFlow與 PyTorch機器學習框架，能為開發人員簡化Edge AI的部署工作流程(更詳細內容請點擊此文章連結)。
與Meta在ExecuTorch解決方案的合作
此外著眼於在邊緣端促進神經網路部署是實現AI應用持續成長的重要一環，Arm也與Meta合作，運用ExecuTorch解決方案將PyTorch導入Arm架構的行動與嵌入式平台(更詳細內容請點擊此文章連結)。
Arm表示，ExecuTorch能讓開發人員更輕鬆地在各種行動與邊緣裝置上，部署先進AI與ML工作負載所需的最尖端類神經網路。與Meta的合作是以Arm投注了龐大資源的張量算子集架構(TOSA)為基礎；TOSA為AI與ML加速器提供一個共同的框架，並支援深度神經網路運用的各式工作負載。
Arm在A系列架構新增OFP8資料格式
而要以相對較低的成本實現AI的規模化，支援資料格式的廣泛部署相當關鍵。Arm向來致力於支援各種新興小型資料庫類型的AI工作負載，去年該公司與Intel、Nvidia合作發表全新的8位元浮點規格FP8並受到業界矚目，參與企業還加入了AMD、Google、Meta等；這些業者並共同創建了正式的OCP 8位元浮點規格(OFP8)。
Arm在其最新的A系列架構更新中，新增了符合此一標準的OFP8，為產業內的類神經網路的快速採用提供支援。OFP8是一種交換的8位元資料格式，可以讓軟體生態系輕鬆分享類神經網路模型，並在數十億個裝置上持續推進AI運算能力。
加入MX聯盟推動微擴充技術規格
認同開放標準對推動AI生態系創新、一致性與相容性所扮演的關鍵角色，Arm 近期也加入推動微擴充(microscaling)技術規格的MX (Microscaling Formats)聯盟，該聯盟成員包括 AMD、Arm、Intel、Meta、Microsoft、Nvidia與Qualcomm。
微擴充技術是建立在晶片設計領域中長達多年的探索與研究，是 AI 應用針對窄位元(8位元與不到8位元)訓練與推論的一種精密的擴充方式。此一規格將這些窄位元資料規格標準化，為產業去除碎片化，並促成 AI 的規模化。
秉持產業合作的精神，MX聯盟透過開放運算專案，以開放、免授權的形式發布了這個 MX 的技術規格。這項專案結合了超大規模資料中心營運商與運算基礎設施產業的其他相關業者，目的是促使更廣泛的業界採用。這也體現了業界對於該需求的共識—讓生態系中的所有人都能平等地獲取可擴充的AI解決方案
Arm表示，該公司致力為全球的AI發展奠定堅實基礎，上述的合作只是Arm為提供開發人員打造先進、複雜 AI 工作負載所需技術的方式之一；Arm期望從感測器、智慧型手機到軟體定義車輛、再到伺服器與超級電腦，AI 的未來將建構於該公司的技術之上。
(責編：Judith Cheng)
- 想加速RAG開發？你需認識LLamaIndex框架 - 2024/11/21
- AI+無人機守護海域遊憩安全 台南市發表「智慧海灘」成果 - 2024/11/14
- 【多模態時代】LLaVA模型的重要性 - 2024/11/11
.jpg)
.jpg)