Llama 2 Archives | MakerPRO

3 月21

小型語言模型趨勢觀察與體驗

相對於大語言模型，小語言模型是將LLM縮小、輕量化，以在PC上執行並方便微調的版本；兩者其實沒有很清晰的分界，一般認定70億個參數以下的模型即可視為小模型。

2 月13

儘管大語言模型(LLM)更廣為人知，但由於小語言模型(SLM)能夠以更少資源、較低成本提供出色的效能，而且訓練起來也更為簡易且成本更低，因此受到越來越多的關注；Arm展示了搭載Ethos-U85 NPU的系統晶片解決方案如何在嵌入式硬體上運作小語言模型。

11 月28

Posted By owenou on 11 月 28, 2024 in Llama 2, SLM, 技術導讀

TinyLlama 2 作為一個SLM小型語言模型，特別適合資源受限的嵌入式系統和邊緣運算環境。

11 月21

LLamaIndex 是 RAG 系統中不可或缺的基礎工具，專注於高效資料檢索與管理，本文將介紹兩者之間的技術關聯性。

6 月27

Arm Kleidi是一項廣泛的軟體和軟體社群參與計畫，目的在於加速AI發展。首先推出運用於熱門AI框架的Arm Kleidi軟體函式庫，開發人員可以直接取得Arm CPU出色的AI功能；而如今全球從雲端到邊緣的大多數AI推論工作負載，都在這些Arm CPU上執行。

5 月29

在台大資工系陳縕儂副教授主講的「打造台版LLM的理由與挑戰」演講中，主要討論了建立台灣版大型語言模型（LLM）的必要性及挑戰，並分享了她和她的學生在這方面的努力和成果。