小型語言模型趨勢觀察與體驗
相對於大語言模型,小語言模型是將LLM縮小、輕量化,以在PC上執行並方便微調的版本;兩者其實沒有很清晰的分界,一般認定70億個參數以下的模型即可視為小模型。
【Arm的AI世界】運用小語言模型在邊緣端實現生成式AI
儘管大語言模型(LLM)更廣為人知,但由於小語言模型(SLM)能夠以更少資源、較低成本提供出色的效能,而且訓練起來也更為簡易且成本更低,因此受到越來越多的關注;Arm展示了搭載Ethos-U85 NPU的系統晶片解決方案如何在嵌入式硬體上運作小語言模型。
聯發科攜手意騰科技於CES 2025展示多元AI語音方案
聯發科與邊緣AI低功耗解決方案供應商意騰科技宣布合作為車用、智慧家庭、及智慧零售市場打造創新AI語音解決方案,致力於提升使用者與汽車及智慧設備的互動體驗,帶來更智慧、安全且直觀的生活方式。
【Edge AI專欄】 邊緣端小語言模型崛起,開發板跟上了嗎?
本文將幫大家盤點一下常見的19個廠商提供的37種小語言模型,16種 MCU / MPU / SoC 等級 LLM 開發板解決方案,讓大家未來在開發相關應用時能有更多選擇。
輕薄型筆電OK!利用OpenVINO部署Phi-3.5「全家餐」
近期微軟發佈了最新的Phi-3.5系列SLM模型,是非常適合在AI PC上運作的模型任務。本文將分享如何利用OpenVINO在你的AI PC上部署最新Phi-3.5-mini及Phi-3.5-vision模型。