著眼各領域企業生成式AI應用持續成長,推動資料中心與基礎設施大規模轉型,英特爾(Intel)攜手伺服器生態系夥伴廠商,在台展示最新搭載效能核心(P-core)的Intel Xeon 6處理器結合該公司Gaudi 3 AI加速器的最新系統和解決方案;該公司亞太暨日本區總經理莊秉翰表示,英特爾強大的x86架構與開放生態系,能支援企業建構具備最佳化總體擁有成本(TCO)及每瓦最佳效能的AI系統,以更佳的效率和成本效益滿足客戶複雜的工作負載,同時滿足其對於可擴充性與安全性的需求。
現場除了有英特爾生態系夥伴業者包括智邦科技、安提國際、其陽科技、永擎電子、華碩電腦、仁寶電腦、鈺登科技、鴻海科技集團、技嘉科技、威強電、英業達、神雲科技、微星科技、和碩聯合科技、雲達科技(QCT)、神準科技、美超微、緯創資通、緯穎科技等,展示包括搭載Xeon 6與Gaudi 3加速器的最新一代資料中心AI伺服器平台與板卡產品,如何能協助企業最佳化運用資源,並透過開放平台高效率運作大型語言模型(LLM);現場也有透過文字生成3D影像的LDM3D、檢索增強生成(RAG)、輔助醫生診斷及醫病問詢等AI應用示範,以及訴求永續節能的先進超流體冷卻技術資料中心散熱解決方案。
搭載P-core的Xeon 6處理器,專為邊緣到資料中心和雲端環境的AI效能需求而打造,透過超高記憶體和I/O頻寬,以加速運算密集型AI、HPC和資料服務的工作負載。平台最高更可擴充至128個核心、12個記憶體通道,並針對每個插槽提供96條PCIe通道。相較於上一代處理器,Xeon 6效能提升高達2倍,不僅核心數增加、記憶體頻寬加倍,更將AI加速功能嵌入每個核心。此外,Xeon 6亦能有效調度GPU運行資源,目前市場上高達73%的GPU伺服器是使用Intel Xeon系列處理器作為主處理器。
Xeon 6處理器也支援採用DDR5介面與技術的MRDIMM,提供每秒8,800百萬次傳輸(8,800 MT/s)的速度,為客戶創造更高頻寬、更低延遲的運算環境,解決HPC、AI及其他大量工作負載。此外,Xeon 6為率先支援CXL 2.0技術的伺服器處理器,以提升記憶體頻寬與容量,實現高效率資料傳輸。
Gaudi 3 AI加速器專為大規模AI運算所設計,可於資料中心或雲端上支援大型語言模型、多模態模型與企業RAG等AI應用程式。與前一代產品相比,Gaudi 3將BF16的AI運算能力提高4倍,並提升1.5倍記憶體頻寬以及2倍網路頻寬,有助大型語言模型和多模態模型的AI訓練和推論。Gaudi 3除了無縫整合PyTorch框架,更提供Hugging Face Transformer模型和Diffusers模型庫,以提升開發人員易用性和生產力。
英特爾日前宣布與IBM合作,將英特爾Gaudi 3 AI加速器做為服務布署至IBM Cloud上。此外,Inflection AI其最新商用AI系統Inflection for Enterprise也改採用英特爾Gaudi 3 AI加速器,以提供具競爭力的每瓦效能,滿足複雜且大規模布署所需的控制、自定義以及可擴充性。
英特爾亦展示了各項AI應用,包括透過多模態橋塔模型處理複雜圖片和文字資訊,以進行影片內容搜尋的視覺語言模型BridgeTower、根據圖片內容生成描述的大型語言和視覺助手LLaVA-Llama3、業界首款生成式3D潛在擴散模型(Latent Diffusion Model for 3D,LDM3D),讓使用者可以透過文字敘述生成精細的360度全景圖,以及基於檢索增強生成(RAG)的應用。另外,也將AI應用於醫學領域,包括開源預訓練大型語言模型Bio-Mistral,提供醫學資訊問答功能,以節省醫療成本,以及經大規模資料集和演算法訓練的CheXNet,透過運用AI判讀X光影像,輔助醫生進行病症診斷。
英特爾亦分享其先進散熱解決方案的最新進展。其超流體技術(Open IP SuperFluid Cooling Technology)除了應用在浸沒式冷卻解決方案之外,也將此技術導入水冷板散熱系統中。此技術除了可使傳統冷板的冷卻液PG25性能提升,也可搭配新開發的介電液來防止漏液時造成伺服器的損壞。此外,僅須修正冷卻液分配裝置(Cooling Distribution Units,CDU)設計即可達到晶片散熱設計功耗(Thermal Design Power,TDP) > 1500W需求,滿足現有與新型資料中心永續性需求。
- Deepfake深偽音訊真假難辨?五款AI方案有解 - 2024/12/04
- 著眼企業級AI應用 Intel力推Xeon 6+Gaudi 3平台解決方案 - 2024/12/03
- 掌握「多模態視訊模型」現況與開發流程 - 2024/12/02