|
Green Coding:AI節能從程式碼做起!
10 月21

Green Coding:AI節能從程式碼做起!

AI 讓人類得到前所未有的助力,但我們也不能忽視AI運作背後的代價。Green Coding 的出現,讓每一段程式碼、每一次模型推理,都將永續思維納入了共同的考量,讓數位智慧與綠色資源不會相斥,甚至能攜手帶來長遠的環境福祉。

Read More
定義AI推論生態:Hugging Face推Inference Providers架構
10 月20

定義AI推論生態:Hugging Face推Inference Providers架構

Hugging Face 正重新定義 AI 推論生態。透過 Inference Providers 架構,開發者可在 Hub 上自由選擇 推論服務,從即時雲端到企業專用端點,一次串連多個 provider,開放、可控、低延遲地運行模型。

Read More
讓生成式AI應用在Intel架構系統本地端高效率運作的訣竅
10 月16

讓生成式AI應用在Intel架構系統本地端高效率運作的訣竅

各種AI模型正進駐PC,而且它們變得更聰明、快速、強大;然而,仍會有一個問題:如何在不同的硬體加速器──例如英特爾的GPU或NPU──上讓模型發揮最佳效能?

Read More
PyTorch Lightning:讓深度學習更高效、更乾淨的框架
10 月13

PyTorch Lightning:讓深度學習更高效、更乾淨的框架

PyTorch Lightning 的出現,代表著深度學習工程實踐的一次質變。它並未重新發明 PyTorch,而是讓 PyTorch 更乾淨、更高效、更具生產力。

Read More
加速英特爾GPU上的LLM:實用的動態量化指南
10 月09

加速英特爾GPU上的LLM:實用的動態量化指南

動態量化是一種強大的最佳化技術,能顯著提升Transformer模型在Intel GPU的性能,包括搭載於Lunar Lake、Arrow Lake處理器,配備XMX引擎的硬體,以及Alchemist、Battlemage等系列獨立顯卡。

Read More
【Arm的AI世界】GitHub與Arm為開發者徹底改變在Windows上的開發作業
10 月07

【Arm的AI世界】GitHub與Arm為開發者徹底改變在Windows上的開發作業

GitHub與Arm緊密合作,致力於最佳化在Arm平台上開發的體驗,透過強化的工作流程,整合原生Arm runner、內建必要工具與函式庫的映像檔,以及GitHub Copilot Extensions,協助開發者運用AI加速開發。

Read More