2024 MAI 開發者大會以「Make AI a Reality」為精神，希望架起AI技術與應用的橋樑，廣邀開發社群先進擔任講者，2天共20場演講，為AI開發者及AI Maker們領路。探討主題涵蓋先進及實用 AI 工具、框架、平台技術；Edge AI開發環境、推論優化與佈建；熱門關鍵技術：Local LLM、RAG、NPU、GenAI…；創新與落地Edge AI應用。
耐能科技產品行銷協理 陳宇春
耐能智慧產品行銷協理陳宇春首先介紹耐能智慧的發展，其成立於2005年，先落腳在台北內湖，一開始只是一間辦公室，到今年(2024)全球已經擁有七個辦公室與210名員工。他們是從IC設計起家，目前的產品應用已涵蓋從AIOT、安防、車用、傳統Edge Server到新的LLM&GPT Station。
(Source : 講者簡報)
Local LLM的應用與挑戰
針對最近熱門的Local LLM，陳宇春指出，目前AI技術已逐漸從早期的模型算力的討論過渡到落地應用，讓AI服務成為趨勢。無論是硬體還是軟體，AI都可以視為服務的一環，提供更精準、更人性化的解決方案。像是AI車牌辨識必需結合後臺應用，比如門禁管制、停車場車輛管制和收費系統來提供整合性的服務。
(Source : 講者簡報)
因應Local LLM服務化的需求，耐能推出支持LLM的模組，包括USB、板卡，並在Computex展示SRM產品，將AI模型和硬體整合在一起，應用於AI或是雲端平台。這些模組也可以應用在門鎖、大樓門禁控制等領域。
(Source : 講者簡報)
此外，為了確保語言模型能跟上時代，耐能採用強化式學習進行模型訓練，促使最新的GPT版本被應用在針對中文的提問的認識與回答，提升準確性。
(Source : 講者簡報)
實際應用與市場需求
「資訊檢索和資料分析是企業數位轉型中的重要環節，」陳宇春表示，知識型的企業都很看重AI帶來的商業智慧升級，因此耐能也投入不少的心力，提出能夠協助企業簡化ISO流程，並根據客戶需求進行特定服務設計的在地化相應解決方案。
(Source : 講者簡報)
他進一步指出，在終端應用中，平衡速度與使用率至關重要。耐能提出Master-Slave概念，可根據需求來動態調整算力資源，需要的時候算力資源可以疊加，不需要的時候算力資源可以調整到其他位置，避免浪費並提高效率。
(Source : 講者簡報)
小結
陳宇春強調，企業在推動Local LLM應用時，需要關注服務化趨勢、模組整合、速度與適用性、資源管理等各方面的議題。通過具體的應用案例和開發者平臺的出現，耐能展示了在AI服務化過程中的創新和實踐成果，未來將繼續在市場競爭中不斷前行。
- Arm運算平台助力Llama 3.2 LLM實現AI推論加速與擴展 - 2024/09/27
- 【2024 MAI Talks】邊緣裝置結合生成式AI – NVIDIA Jetson平台為例 - 2024/09/26
- 開啟企業AI新紀元 英特爾Xeon 6和Gaudi 3正式發表 - 2024/09/26
.jpg)
.jpg)