|

【2024 MAI Talks】打造企業Local LLM的挑戰與策略

   

2024 MAI 開發者大會以「Make AI a Reality」為精神,希望架起AI技術與應用的橋樑,廣邀開發社群先進擔任講者,2天共20場演講,為AI開發者及AI Maker們領路。探討主題涵蓋先進及實用 AI 工具、框架、平台技術;Edge AI開發環境、推論優化與佈建;熱門關鍵技術:Local LLM、RAG、NPU、GenAI…;創新與落地Edge AI應用。

耐能科技產品行銷協理 陳宇春

耐能智慧產品行銷協理陳宇春首先介紹耐能智慧的發展,其成立於2005年,先落腳在台北內湖,一開始只是一間辦公室,到今年(2024)全球已經擁有七個辦公室與210名員工。他們是從IC設計起家,目前的產品應用已涵蓋從AIOT、安防、車用、傳統Edge Server到新的LLM&GPT Station。

(Source : 講者簡報)

Local LLM的應用與挑戰

針對最近熱門的Local LLM,陳宇春指出,目前AI技術已逐漸從早期的模型算力的討論過渡到落地應用,讓AI服務成為趨勢。無論是硬體還是軟體,AI都可以視為服務的一環,提供更精準、更人性化的解決方案。像是AI車牌辨識必需結合後臺應用,比如門禁管制、停車場車輛管制和收費系統來提供整合性的服務。

(Source : 講者簡報)

因應Local LLM服務化的需求,耐能推出支持LLM的模組,包括USB、板卡,並在Computex展示SRM產品,將AI模型和硬體整合在一起,應用於AI或是雲端平台。這些模組也可以應用在門鎖、大樓門禁控制等領域。

(Source : 講者簡報)

此外,為了確保語言模型能跟上時代,耐能採用強化式學習進行模型訓練,促使最新的GPT版本被應用在針對中文的提問的認識與回答,提升準確性。

(Source : 講者簡報)

實際應用與市場需求

「資訊檢索和資料分析是企業數位轉型中的重要環節,」陳宇春表示,知識型的企業都很看重AI帶來的商業智慧升級,因此耐能也投入不少的心力,提出能夠協助企業簡化ISO流程,並根據客戶需求進行特定服務設計的在地化相應解決方案。

(Source : 講者簡報)

他進一步指出,在終端應用中,平衡速度與使用率至關重要。耐能提出Master-Slave概念,可根據需求來動態調整算力資源,需要的時候算力資源可以疊加,不需要的時候算力資源可以調整到其他位置,避免浪費並提高效率。

(Source : 講者簡報)

小結

陳宇春強調,企業在推動Local LLM應用時,需要關注服務化趨勢、模組整合、速度與適用性、資源管理等各方面的議題。通過具體的應用案例和開發者平臺的出現,耐能展示了在AI服務化過程中的創新和實踐成果,未來將繼續在市場競爭中不斷前行。

 

MakerPRO編輯部
MakerPRO編輯部

Author: MakerPRO編輯部

MakerPRO.cc為華人圈最專注於Maker創新創業、物聯網及共享經濟報導及共筆發表的專業媒體,不論是趨勢分析與評論,或創新實作文章,在華文創新創業媒體領域都具有重要的影響力。

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *