2024 MAI 開發者大會以「Make AI a Reality」為精神，希望架起AI技術與應用的橋樑，廣邀開發社群先進擔任講者，2天共20場演講，為AI開發者及AI Maker們領路。探討主題涵蓋先進及實用 AI 工具、框架、平台技術；Edge AI開發環境、推論優化與佈建；熱門關鍵技術：Local LLM、RAG、NPU、GenAI…；創新與落地Edge AI應用。Deep Mentor CEO吳昕益現場分享了企業將大型語言模型（LLM）落地部署需要的關鍵技術，深入介紹模型微型化技術的特點。
DeepMentor CEO 吳昕益
落地部署的重要性
吳昕益認為，AI技術的真正價值在於實際應用。從2012年開始，DeepMentor就致力於AI技術的落地部署，包含了兩個方面：落地訓練和落地推動。通過這些部署，企業才能夠真正利用AI技術來提升營運效率。
（Source: 講者簡報）
模型微型化的挑戰與解決方案
為了使LLM能在多種應用場景中有效運行，模型微型化是必須的。吳昕益介紹了模型微型化過程中遇到的各種挑戰，包括算力的限制、記憶體容量不足以及能源消耗等問題。DeepMentor通過特殊的編碼技術和優化算法，成功地解決了這些問題，使得在較小的硬體環境中也能高效運行大型模型。
模型微型化技術的實際應用
吳昕益更分享了模型微型化技術在現在不同產業中的應用案例：在金融和醫療行業中，由於數據的機密性和準確性要求高，這些資料通常不能上傳到雲端，因此很需要本地部署；另外，像是IC設計公司和智能客服系統等企業也對本地部署有著強烈需求。
（Source: 講者簡報）
成本效益分析
吳昕益也講解了模型微型化技術如何幫助企業降低成本。通過使用優化過的GPU配置，企業可以有效節省硬體購置和相關運行成本。他舉例說明，訓練一個13B的模型原本需要花費1000萬台幣(含設備)，通過技術優化後，僅需100萬台幣的投入就能達到同樣的效果，也就是省下了90%的成本。
（Source: 講者簡報）
未來發展與展望
最後，吳昕益也預測AI技術的未來可能性。他強調，AI技術的民主化是必然趨勢，讓更多企業負擔得起而且實際應用這些技術是DeepMentor的目標。DeepMentor將繼續在技術創新跟技術優化投入資源研發精進。
（Source: 講者簡報）
》演講影片觀看：
- Hugging Face vs. GitHub：兩大開發者平台的主要差異 - 2024/12/22
- TI白皮書探討邊緣AI最新軟硬體技術與工具 - 2024/12/19
- Infineon發表邊緣AI軟體新品牌DEEPCRAFT - 2024/12/17
.jpg)
.jpg)