邊緣系統VLM視覺理解推論實作工作坊
|
聚焦Edge AI Lattice挾龐大生態系資源拉攏開發社群
12 月22

聚焦Edge AI Lattice挾龐大生態系資源拉攏開發社群

對所有相關解決方案供應商來說,正準備起飛的Edge AI市場究竟能不能成氣候,來自開發者們的回饋絕對是不可忽視的寶貴資訊──這或許也是低功耗可程式化設計元件供應商Lattice Semiconductor在2023年首度舉辦「萊迪思開發者大會」(Lattice Developers Conference)的主要原因之一。

Read More
AI PC市場大餅浮現,Intel、AMD為開發者做好準備了?
12 月20

AI PC市場大餅浮現,Intel、AMD為開發者做好準備了?

迎接2024的AI PC世代,Intel及AMD都已做好準備,分別提出自己的軟、硬體解決方案,希望拉攏更多開發者在其平台上做出能發揮AIGC、LLM模型的創新應用。

Read More
如何利用低位元量化技術進一步提升大模型推論性能
12 月12

如何利用低位元量化技術進一步提升大模型推論性能

相比運算量的增加,大模型推論速度更容易受到記憶體頻寬的影響,導致算力資源無法得到充分發揮,進而影響性能;低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一,本文將探討低位元量化技術如何幫助LLM提升性能,以及新版OpenVINO對於低位元量化技術的支援。

Read More
活用IPEX和Intel GPU加速大型語言模型訓練效率
12 月05

活用IPEX和Intel GPU加速大型語言模型訓練效率

以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品,可提供最佳化功能大幅提升運作效能。例如透過PyTorch的裝置來發揮Intel GPU的潛能,加速AI模型的訓練和推論。本篇文章將說明如何善用上述兩項產品來實現效能的大幅提升,仍然以微調訓練的範例來展現它們的特性,並說明其使用方法和流程。

Read More
利用Intel平台提升LLM微調與訓練效率:ResNet50+LoRA範例
11 月29

利用Intel平台提升LLM微調與訓練效率:ResNet50+LoRA範例

本文將說明如何善用英特爾(Intel)所研發的新產品和相關技術,來提升AI模型的訓練效率,以便提供更優質的推論功能。為了循序漸進介紹上述的新產品及其相關的使用技術,本文先從大家熟悉ResNet50圖像分類模型做為起步範例,並搭配LoRA來進行外掛訓練,以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。

Read More
從產業型樹莓派上找樂趣:支援ChatGPT的SaraKIT載板
11 月28

從產業型樹莓派上找樂趣:支援ChatGPT的SaraKIT載板

近期一家SaraAI公司推出一片SaraKIT載板,該載板就是為第四代樹莓派的CM而設計的,載板上提供各種感測、控制功能電路等,省去創客再行設計電路,而將開發心力更快轉移到軟體開發、功能驗證等更後段的工作上。本篇文章會對此載板進行介紹。

Read More