|
以技術角度剖析NVIDIA DIGITS專案
2 月12

以技術角度剖析NVIDIA DIGITS專案

NVIDIA的AI桌上型電腦DIGITS專案在今年一月份國際消費性電子展(CES)期間就已經發表,但多數的報導只是單純引述NVIDIA官方所強調的,本文嘗試從更技術的角度來觀察。

Read More
替本機端大語言模型Ollama裝上親和介面
2 月03

替本機端大語言模型Ollama裝上親和介面

毫無疑問的,Ollama是近期非常熱門的本機端大語言模型(LLM)管理工具,透過Ollama可以下載、執行許多知名的大語言模型,如Meta的Llama、Microsoft的Phi、Google的Gemma等。

Read More
項鍊型人工智慧Omi開發技術解析
1 月28

項鍊型人工智慧Omi開發技術解析

為了鼓勵更多人開發、實現Omi專屬的應用,Omi在諸多方面都採開源(開放原始程式碼)態度,本文就從技術角度來檢視Omi採行了哪些開源作法,讓廣大的Maker更有興趣接觸與評估Omi,以下分裝置、手機、後端三部份來說明。

Read More
產業級Arduino也擁抱LLM AI
1 月24

產業級Arduino也擁抱LLM AI

Arduino於CES期間宣佈與荷蘭新創晶片商Axelera合作,該公司的晶片與軟體將與Arduino Pro系列中的Portenta X8板搭配使用。本篇文章將會對此進行說明!

Read More
2025年CES展AI類創新獎觀察
1 月09

2025年CES展AI類創新獎觀察

每年一月的消費性電子展(CES)都會有創新獎的頒佈,雖然獎的頒佈有些浮濫,似乎在於增添展會氣勢,但有時有些獎確實具創意,值得參考,本文就人工智慧(AI)類的獲獎品進行進一步觀察。

Read More
NVIDIA讓TensorRT-LLM推論效率增速三倍
1 月06

NVIDIA讓TensorRT-LLM推論效率增速三倍

最近(2024年12月)NVIDIA新發佈,在TensorRT-LLM中加入了推測性解碼技術,從而讓TensorRT-LLM的推論效率提升三倍。

Read More