2024 MAI 開發者大會以「Make AI a Reality」為精神，希望架起AI技術與應用的橋樑，廣邀開發社群先進擔任講者，2天共20場演講，為AI開發者及AI Maker們領路。探討主題涵蓋先進及實用 AI 工具、框架、平台技術；Edge AI開發環境、推論優化與佈建；熱門關鍵技術：Local LLM、RAG、NPU、GenAI…；創新與落地Edge AI應用。
Edge AI Taiwan版主Jack Hsu博士
Jack Hsu博士首先介紹了Edge AI的技術現狀和未來趨勢。他比喻說，選擇Edge AI解決方案就像選擇交通工具一樣，不同的選擇適合不同的需求。他指出，從最小的晶片到高成本的伺服器解決方案，市場上的選擇豐富多樣。他強調了應用的多樣性和定制性，說明不同的計算需求和功耗會影響硬體選擇。
Edge AI誰說了算？（Source: 講者簡報）
選擇合適的硬件架構
Jack Hsu博士進一步介紹了各種硬體選項，包括CPU、GPU、NPU和專用AI加速器。他提到，隨著技術的進步，越來越多的設備整合了NPU來加速AI應用，如智能手機和高性能運算伺服器。他還討論了如何根據應用的具體需求來選擇合適的硬體，比如在數據中心或者終端設備上進行計算。
（Source: 講者簡報）
軟體與模型優化
Jack Hsu博士也探討了軟體工具和框架在Edge AI開發中的重要性。他講解了如何利用各種AI模型優化技術來提高效能和降低成本，包括模型壓縮和精簡技術。他也提到了多模態AI的最新進展，強調開發者需要熟悉一些工具來充分利用硬體性能。
（Source: 講者簡報）
面向未來
最後，Jack Hsu博士總結了演講的要點，強調選擇合適的Edge AI方案需要深入理解應用需求和技術可能性。他鼓勵開發者保持靈活的思維，不斷學習新技術，以適應快速變化的AI領域。他希望這次的演講能幫助開發者更好地理解如何根據特定需求選擇如何優化Edge AI的解決方案，從而推動創新並實現技術突破。
延伸閱讀：【Edge AI專欄】 開發者如何選擇 Edge AI 開發方案
- 想加速RAG開發？你需認識LLamaIndex框架 - 2024/11/21
- AI+無人機守護海域遊憩安全 台南市發表「智慧海灘」成果 - 2024/11/14
- 【多模態時代】LLaVA模型的重要性 - 2024/11/11
.jpg)
.jpg)