2024 MAI 開發者大會以「Make AI a Reality」為精神，希望架起AI技術與應用的橋樑，廣邀開發社群先進擔任講者，2天共20場演講，為AI開發者及AI Maker們領路。探討主題涵蓋先進及實用 AI 工具、框架、平台技術；Edge AI開發環境、推論優化與佈建；熱門關鍵技術：Local LLM、RAG、NPU、GenAI…；創新與落地Edge AI應用。
淩耀電子經理 林士允
目前LLM相當火紅，許多單位對Local LLM對話機器人有很直接的需求，林士允（Felix）也為大家分享了淩耀電子（ICSHOP）如何打造小而美的 Local LLM（本地大型語言模型）對話機器人。
林士允指出，要將大型模型部署到如樹莓派等小型設備上，必須找到有設計彈性且可負擔的解決方案。他強調，開發這類方案需要一個資源豐富的平台來支援多種語言模型，並能夠應對快速推陳出新的技術環境。另外這平台的價格必須具有競爭力，以適應終端設備的需求。
(Source : 講者簡報)
選擇適合整合的硬體
林士允介紹了一個理想的X86架構硬體平臺，它搭載Intel N97CPU、8GB DDR和64GB eMMC儲存空間，是個只有信用卡尺寸大小的單板電腦，適合與該公司現有產品線的整合。他和研發團隊嘗試將LLM部署到這樣的小型平臺上，並通過OpenVINO工具來優化模型運行。他提到，OpenVINO支持多種模型壓縮和部署方法，使得開發者可以無痛轉換模型，實現高效的在地運行。
(Source : 講者簡報)
模型壓縮和優化技術
在模型壓縮和優化方面，林士允介紹了量化技術，通過將模型壓縮為INT4格式來減少記憶體佔用，並保持精度。他強調，選擇適合的量化方法和參數設定至關重要，這樣可以在不犧牲模型性能的前提下，將大型模型部署到小型設備上。例如，使用Google的Gemma模型經過壓縮後可以在單板電腦上運行，實現高效對話功能。
(Source : 講者簡報)
(Source : 講者簡報)
未來展望
林士允分享了幾個實際應用案例，例如與桃園的一間公司合作的樹莓派機器人項目，之前還在日本展出。該機器人大約兩個手掌大小，運行OpenVINO框架實現了影像辨識和對話功能。林士允分享未來會探索更多有趣的應用，例如在自動販賣機中加入對話功能，提升用戶互動體驗。
(Source : 講者簡報)
- 【2024 MAI Talks】以智慧感測平台實現TinyML落地應用 - 2024/06/21
- 【2024 MAI Talks】用樹莓派玩轉Edge AI - 2024/06/19
- 【2024 MAI Talks】打造企業Local LLM的挑戰與策略 - 2024/06/18
