高通台灣AI黑客松|競賽說明會
|
Ollama官方模型分類觀察
6 月13

Ollama官方模型分類觀察

AI模型多自然是選擇豐富,但也容易選擇無力,因此Ollama官方開始給模型分類,其實就是給模型標籤;完全沒有標籤的模型就是很尋常、四平八穩的一般大語言模型,有標籤則有其特殊點,目前有四種主要標籤。

Read More
應援LLM邊緣推論任務 Skymizer以LPU加速生成式AI遍地開花 
5 月16

應援LLM邊緣推論任務 Skymizer以LPU加速生成式AI遍地開花 

市場新秀Skymizer於2025年Computex前發表號稱功能更強大的新一代LPU產品HyperThought,採用由該公司自主開發的最新3.0版LISA,強調對多模態AI、多模型並行執行以及代理式AI的支援…

Read More
小型語言模型趨勢觀察與體驗
3 月21

小型語言模型趨勢觀察與體驗

相對於大語言模型,小語言模型是將LLM縮小、輕量化,以在PC上執行並方便微調的版本;兩者其實沒有很清晰的分界,一般認定70億個參數以下的模型即可視為小模型。

Read More
【Arm的AI世界】運用小語言模型在邊緣端實現生成式AI
2 月13

【Arm的AI世界】運用小語言模型在邊緣端實現生成式AI

儘管大語言模型(LLM)更廣為人知,但由於小語言模型(SLM)能夠以更少資源、較低成本提供出色的效能,而且訓練起來也更為簡易且成本更低,因此受到越來越多的關注;Arm展示了搭載Ethos-U85 NPU的系統晶片解決方案如何在嵌入式硬體上運作小語言模型。

Read More
為Edge AI而生的SLM:TinyLlama
11 月28

為Edge AI而生的SLM:TinyLlama

TinyLlama 2 作為一個SLM小型語言模型,特別適合資源受限的嵌入式系統和邊緣運算環境。

Read More
想加速RAG開發?你需認識LLamaIndex框架
11 月21

想加速RAG開發?你需認識LLamaIndex框架

LLamaIndex 是 RAG 系統中不可或缺的基礎工具,專注於高效資料檢索與管理,本文將介紹兩者之間的技術關聯性。

Read More