加速英特爾GPU上的LLM:實用的動態量化指南
動態量化是一種強大的最佳化技術,能顯著提升Transformer模型在Intel GPU的性能,包括搭載於Lunar Lake、Arrow Lake處理器,配備XMX引擎的硬體,以及Alchemist、Battlemage等系列獨立顯卡。
OpenVINO 2025.3: 更多生成式AI,釋放無限可能
全新 OpenVINO 2025.3 版本帶來更快的上手體驗和更強大的性能。此次升級重點聚焦生成式AI,新增對多種尖端模型的支援,並推出全新GenAI流水線,全面擴展了OpenVINO Model Server的能力。
有了Intel AI Playground 不寫程式也能輕鬆玩生成式AI
Intel整合自家NPU/GPU硬體強大算力及OpenVINO開源推論工具套件,開發出一套「AI Playground」,讓聊天對話、文字生成影像及影像強化輕輕鬆鬆就能完成。
央大攜手英特爾、華碩成立「AI PC創新實驗室」
為深化AI教育,培育具備實務能力的新世代AI人才,國立中央大學攜手Intel及華碩電腦兩大產業夥伴,共同成立「AI PC創新實驗室」…
在家造AI神器!OpenVINO讓桌面推論觸手可及
AI PC是一台配備專門用於加速AI工作負載硬體的電腦,意味著我們可以高效率地運作包含AI模型的應用程式;透過精選的軟硬體,筆者將證明幾乎任何類型的AI應用都可以在本地運作。
【實作案例】以OpenVINO實現VLM、MLLM導入產業應用
本文從技術原理出發,結合理論與實測,展示了如何以Phi-3 Vision為核心模型,配合OpenVINO部署最佳化與YOLOv8偵測模組,建構可實際落地的多模態語言模型應用架構。