2024 MAI 開發者大會以「Make AI a Reality」為精神，希望架起AI技術與應用的橋樑，廣邀開發社群先進擔任講者，2天共20場演講，為AI開發者及AI Maker們領路。探討主題涵蓋先進及實用 AI 工具、框架、平台技術；Edge AI開發環境、推論優化與佈建；熱門關鍵技術：Local LLM、RAG、NPU、GenAI…；創新與落地Edge AI應用。
亞太AI高通量計算研究院院長 高煥堂
在「如何拿大模型來訓練企業AI小模型」的演講中，亞太AI高通量計算研究院高煥堂院長分享企業如何利用大模型來訓練AI小模型，以提升企業效能並創造競爭優勢。
強龍與地頭蛇的概念
高煥堂將大型語言模型(LLM)與企業內部的小模型比喻成「強龍」與「地頭蛇」的關係：「強龍藉著地頭蛇入鄉隨俗、地頭蛇藉著強龍來完成機器學習完善自家模型。」
他進一步說明，強龍指的是LLM，強大的計算能力和泛用性使其在不同場景中具有廣泛的應用前景；對於本地企業小模型來說，代表的是一種外來的力量。地頭蛇代表企業內部的小模型，這些模型針對企業端的實際需求和數據環境進行開發，往往需要站在LLM的基礎上去完善功能。
高煥堂強調：「企業應該開發更多的地頭蛇模型，與強龍模型合作，發揮最大的效能。」
專家知識與數據的重要性
高煥堂接著分析如何將專家知識轉變成AI機器學習的內容，他認為先將專家的知識標籤化，轉化為可用數據的第一步，進而讓專家知識成為訓練AI模型的關鍵推力。AI建模師的工作就是對相關知識進行分類、標註，然後與企業的數據模型結合，進行模型訓練。
企業將自身數據與專家智慧結合，利用大語言模型的強大計算能力進行機器學習，才有機會實現知識的內化和應用。
(Source : 講者簡報)
大模型的實際應用
高煥堂舉例說明了如何使用大模型（如OpenAI的GPT模型）訓練企業內的小模型，從而在特定場景下發揮作用。例如在機場的自助服務終端，利用大模型的預訓練能力，結合企業數據，提供機場旅客高效率的客戶服務。
另外大模型也可以通過圖像和文字的結合，提升AI模型的準確性和實用性。比如說將大量的雜誌圖像與文字說明藉由大模型進行訓練，轉化到企業的小模型，使小模型能夠更準確地理解和處理多媒體數據。
(Source : 講者簡報)
技術與應用的結合
演講中高煥堂院長提到了多個實例應用，如超商POS機上的推薦系統，客戶來結帳時可以接觸到推薦系統提出的即時推薦與行銷，增加成交可能性；Stable Diffusion大模型針對AI書法教育的小模型的訓練；Stable Diffusion對於大語言模型+KG(Knowledge Graph知識圖)的整合訓練，或是將企業的知識圖用來訓練AI模型等。
這些實例展示了如何將大模型的能力落實到具體的企業場景中，為企業端提供實際營運效益。高煥堂強調靈活使用雲端和本地資源的重要性，可根據企業需求選擇合適的部署方式，最大化利用大模型的計算能力和數據處理能力。
(Source : 講者簡報)
強龍不壓地頭蛇
高煥堂強調，強龍（大模型）與地頭蛇（小模型）的協同合作，能夠在不壓制地頭蛇的情況下，發揮大模型與小模型各自的優勢。這種合作關係能夠促進企業內部的創新和發展。單純依賴大模型而忽視本地小模型的發展，可能會導致企業無法充分利用自身數據和知識，最終影響整體效益。
(Source : 講者簡報)
小結
高煥堂強調，企業應當注重專家知識的標籤化和數據的有效利用，透過大模型與小模型的協同合作，實現技術創新和效能提升。同時，企業高層應具備決策的智慧，能夠靈活運用大模型和小模型的優勢，推動企業的長遠發展。
- 【2024 MAI Talks】用樹莓派玩轉Edge AI - 2024/06/19
- 【2024 MAI Talks】打造企業Local LLM的挑戰與策略 - 2024/06/18
- 【2024 MAI Talks】打造小而美的 Local LLM 對話機器人 - 2024/06/17
