NVIDIA讓TensorRT-LLM推論效率增速三倍
最近（2024年12月）NVIDIA新發佈，在TensorRT-LLM中加入了推測性解碼技術，從而讓TensorRT-LLM的推論效率提升三倍。
加入聖誕搶錢行列！NVIDIA推超級模式的Jetson Orin Nano
新款Jetson Orin Nano Super的嵌入式開發板產品，宣稱在生成式人工智慧（Generative Artificial Intelligence, GenAI）方面的效率為過往的1.7倍，達70TOPS。
創客積木M5Stack加入LLM戰局
M5Stack過往即以簡單直覺的「方塊砌疊方式」提供模組化硬體功能而聞名，受到許多STEM教學者、學習者以及Maker的愛戴。近期M5Stack推出LLM的硬體產品，稱為M5Stack LLM模組，本篇文章會對此進行簡單的介紹。
【創業小聚】用AI發現早期癌症，北醫新創DeepRad.AI力助20萬高危險族群
台灣醫療新創神瑞人工智慧（DeepRad.AI），端出了「DeepLung-CAC」，透過AI技術協助醫生快速檢測並分析高風險族群，猶如放射科醫師的第二雙眼睛。
MLPerf大語言模型、生成式AI測項觀察
MLPerf是MLCommons機構訂立出的一系列AI效能標竿測試，包含訓練類、推論類，也依據不同情境再行分類。本文將帶各位了解目前哪些LLM、GenAI已被視為測試基準。