恩智浦為eIQ軟體增加新工具以支援各種邊緣AI部署

Posted By MakerPRO編輯部 on 11 月 5, 2024 in AIGC, Edge AI, Edge AI解決方案, Edge AI開發地圖, Edge AI開發環境, LLM, RAG, 技術新訊, 新聞稿 | 0 comments

恩智浦半導體(NXP Semiconductors)宣佈在其eIQ AI和機器學習開發軟體新增兩款新工具，包括具有檢索增強生成(Retrieval Augmented Generation，RAG)微調功能的GenAI Flow和eIQ Time Series Studio；讓開發者能更輕鬆跨越從小型微控制器(MCU)到大型應用處理器(MPU)等各種邊緣處理器，部署並運用AI。

eIQ Time Series Studio提供自動化機器學習工作流程，可輕鬆在如恩智浦的MCX系列MCU產品組合或i.MX RT跨界MCU產品組合等MCU級裝置，開發和部署基於時間序列(time series-based)的機器學習模型。GenAI Flow為支援生成式AI解決方案的大型語言模型(LLM)提供建構模組；此類生成式AI解決方案旨在與恩智浦i.MX系列應用處理器MPU配合使用，透過在特定情境資料中訓練LLM，可以更輕鬆地在邊緣部署智慧應用。例如，配備LLM的電器經過用戶手冊訓練後，能夠用自然語言與使用者交流，告知用戶如何使用特定功能、執行特定任務或最佳化使用和維護。

在邊緣部署AI帶來眾多優勢，包括降低延遲、加強用戶隱私保護及減少能耗。恩智浦eIQ工具套件的擴展能顯著簡化並加速部署流程，幫助開發人員能夠存取更廣泛的模型類型，包括生成式AI、基於時間序列的模型、以及基於視覺的模型。此外，用戶能夠在各類邊緣處理器上部署模型。恩智浦半導體資深副總裁暨工業與物聯網事業部總經理Charles Dachs表示：「AI是實現根據使用者需求預測和自動化的關鍵，但必須以適合邊緣部署的方式進行開發。恩智浦提供即用型工具，適合MCX系列等MCU以及i.MX RT700等跨界MCU的小型AI模型，以及在i.MX 95應用處理器等功能更強大裝置運作的大型生成式AI模型，為開發人員提供豐富的選擇，涵蓋各類AI模型和支援AI的邊緣處理器，使邊緣AI真正適用於各行各業的應用開發人員。」

eIQ Time Series Studio簡化並加速基於時間序列的AI模型的開發與部署，支援多種輸入訊號，包括電壓、電流、溫度、振動、壓力、聲音、飛行時間(ToF)等，以及用於多模態感測器(multi-modal sensor)融合的訊號組合。借助自動機器學習功能，開發人員能夠從原始時間序列(time-sequential)資料中提取有意義的洞察，快速建立可以滿足效能、記憶體、快閃記憶體大小和準確性標準而客製化的AI模型。該工具提供完整的開發環境，包括資料管理、視覺化和分析、以及模型自動生成、最佳化、模擬和部署。介面簡潔直觀，軟體開發人員無需具備深厚的資料科學或AI專業知識，即可創建最佳化的異常檢測、分類和回歸資料庫。

恩智浦GenAI Flow讓生成式AI應用可以在邊緣裝置上運行。此軟體流程提供了最佳化LLM等生成模型的方法。GenAI Flow並支援RAG，能夠在不對模型或處理器供應商透露敏感資訊的情況下，運用特定領域(domain-specific)知識和私有資料以安全的方式微調模型。透過將多個模組連結至單一流程，客戶可根據其任務輕鬆定制LLM，並使用恩智浦i.MX 95應用處理器等MPU進行最佳化，以便在邊緣部署。

更多相關訊息或造訪具備這些新增功能的最新版eIQ機器學習開發環境，請參閱NXP.com/eIQ。此外，可以下載GenAI Flow白皮書《安全高效地在邊緣部署生成式 AI：在微處理器上最佳化 LLM 的方法》或閱讀部落格文章《eIQ Time Series Studio簡介：簡化邊緣 AI 開發》。