近期熱度正高的AI PC,是在夯什麼?
AI PC是近幾個月出現的全新詞彙,顧名思義是AI與PC的概念相結合,但它目前其實並沒有標準的產品定義,為PC供應鏈與市場帶來無限想像空間。本篇文章就會簡單介紹AI PC的基本資訊以供各位參考。
AI PC市場大餅浮現,Intel、AMD為開發者做好準備了?
迎接2024的AI PC世代,Intel及AMD都已做好準備,分別提出自己的軟、硬體解決方案,希望拉攏更多開發者在其平台上做出能發揮AIGC、LLM模型的創新應用。
如何利用低位元量化技術進一步提升大模型推論性能
相比運算量的增加,大模型推論速度更容易受到記憶體頻寬的影響,導致算力資源無法得到充分發揮,進而影響性能;低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一,本文將探討低位元量化技術如何幫助LLM提升性能,以及新版OpenVINO對於低位元量化技術的支援。
活用IPEX和Intel GPU加速大型語言模型訓練效率
以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品,可提供最佳化功能大幅提升運作效能。例如透過PyTorch的
利用Intel平台提升LLM微調與訓練效率:ResNet50+LoRA範例
本文將說明如何善用英特爾(Intel)所研發的新產品和相關技術,來提升AI模型的訓練效率,以便提供更優質的推論功能。為了循序漸進介紹上述的新產品及其相關的使用技術,本文先從大家熟悉ResNet50圖像分類模型做為起步範例,並搭配LoRA來進行外掛訓練,以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。
OpenVINO 2023.1版本問世: 在邊緣端賦能生成式AI
OpenVINO 2023.1版本希望將生成式 AI 的強大功能導入常規桌上型電腦和筆記型電腦,讓這些模型可以在資源受限的本地環境中運作`在整個產品中針對這些場景進行了最佳化,實現了一些關鍵功能,並為我們的下一步工作計畫奠定了基礎。也就是說,我們的變化不僅限於生成式AI,我們還改進了產品的其他部分。以下讓我們來看看這些變化到底是什麼。