NVIDIA讓TensorRT-LLM推論效率增速三倍
最近（2024年12月）NVIDIA新發佈，在TensorRT-LLM中加入了推測性解碼技術，從而讓TensorRT-LLM的推論效率提升三倍。
加入聖誕搶錢行列！NVIDIA推超級模式的Jetson Orin Nano
新款Jetson Orin Nano Super的嵌入式開發板產品，宣稱在生成式人工智慧（Generative Artificial Intelligence, GenAI）方面的效率為過往的1.7倍，達70TOPS。
創客積木M5Stack加入LLM戰局
M5Stack過往即以簡單直覺的「方塊砌疊方式」提供模組化硬體功能而聞名，受到許多STEM教學者、學習者以及Maker的愛戴。近期M5Stack推出LLM的硬體產品，稱為M5Stack LLM模組，本篇文章會對此進行簡單的介紹。
MLPerf大語言模型、生成式AI測項觀察
MLPerf是MLCommons機構訂立出的一系列AI效能標竿測試，包含訓練類、推論類，也依據不同情境再行分類。本文將帶各位了解目前哪些LLM、GenAI已被視為測試基準。
Sony強力加持！樹莓派發表專屬AI攝影機
樹莓派官方推出人工智慧攝影機Raspberry Pi AI Camera，而RPi AI Camera與原有的攝影機有何不同？本文將對此推探！
【Qualcomm Inside】12TOPS Edge AI單板RUBIK Pi規格剖析
Thundercomm推出的RUBIK Pi從名稱上很明顯有與Raspberry Pi一別苗頭的意味，本篇文章，會針對RUBIK Pi的硬體規格、設計與軟體支援等層面進行介紹。