讓生成式AI應用在Intel架構系統本地端高效率運作的訣竅
各種AI模型正進駐PC,而且它們變得更聰明、快速、強大;然而,仍會有一個問題:如何在不同的硬體加速器──例如英特爾的GPU或NPU──上讓模型發揮最佳效能?
加速英特爾GPU上的LLM:實用的動態量化指南
動態量化是一種強大的最佳化技術,能顯著提升Transformer模型在Intel GPU的性能,包括搭載於Lunar Lake、Arrow Lake處理器,配備XMX引擎的硬體,以及Alchemist、Battlemage等系列獨立顯卡。
以工程角度檢視NVIDIA Jetson Thor
有關NVIDIA Jetson Thor的規格已有相關報導,在此不贅述,筆者在此要討論的是Jetson Thor背後的實現工程,如同此前筆者曾討論過DGX Spark的GB10與DGX Station的GB300一樣。
OpenVINO 2025.3: 更多生成式AI,釋放無限可能
全新 OpenVINO 2025.3 版本帶來更快的上手體驗和更強大的性能。此次升級重點聚焦生成式AI,新增對多種尖端模型的支援,並推出全新GenAI流水線,全面擴展了OpenVINO Model Server的能力。
【創業小聚】韓國AI晶片新創DEEPX押寶台灣:「我們將定義AI時代!」
DEEPX的強項在於邊緣運算的晶片,算力要夠強、晶片要夠小,且不能耗費過多的能量,可適用於AI電腦、AI手機和人形機器人等場景。