|
運用BF16與NHWC技術實現進階版LLM微調訓練最佳化
12 月18

運用BF16與NHWC技術實現進階版LLM微調訓練最佳化

本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術,來最佳化大型AI模型的訓練速度與記憶體節省,並延續以微調模型訓練為範例,透過完整程式碼來示範如何發揮這兩項新技術的用法和魅力。

Read More
利用Intel平台提升LLM微調與訓練效率:ResNet50+LoRA範例
11 月29

利用Intel平台提升LLM微調與訓練效率:ResNet50+LoRA範例

本文將說明如何擅用英特爾(Intel)所研發的新產品和相關技術,來提升AI模型的訓練效率,以便提供更優質的推論功能。為了循序漸進介紹上述的新產品及其相關的使用技術,本文先從大家熟悉ResNet50圖像分類模型做為起步範例,並搭配LoRA來進行外掛訓練,以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。

Read More
【CIRCUS Pi】UP Squared Pro 7000 運行 OpenVINO Notebooks之AI效能評測
8 月31

【CIRCUS Pi】UP Squared Pro 7000 運行 OpenVINO Notebooks之AI效能評測

本文開箱測試研揚(AAEON)今年 2023 最新推出第三世代的 UP Squared PRO 7000,運行 OpenVINO Notebooks 測試 AI 運算的效能。

Read More
【CIRCUS Pi】AI 教學——實測 UP Squared Pro 7000 Edge 製作 AI 專案
8 月01

【CIRCUS Pi】AI 教學——實測 UP Squared Pro 7000 Edge 製作 AI 專案

習慣以筆電或桌機運行 Windows 的使用者在製作 AI 邊緣運算專案時,選擇同樣安裝Intel CPU的單板電腦能大幅度降低熟悉新系統的時間,而OpenVINO 2022.1出現更降低了Intel 執行 AI 推論的部屬與操作時間,本文將使用研揚的 UP Squared Pro 7000 Edge進行實測與教學。

Read More
【開箱評測】OpenVINO讓你不上網也能和Dolly聊聊天
7 月04

【開箱評測】OpenVINO讓你不上網也能和Dolly聊聊天

以往在AI模型部署優化及推論部份,通常都會想到使用 Intel OpenVINO,不過大家多半只注意到它在「電腦視覺」相關的應用,殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU處理記憶體動態外形(Dynamic Shape)的能力,使得如生成型預訓練變換模型(GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。

Read More
不用買顯卡 OpenVINO 也能玩 Stable Diffusion V2!
6 月05

不用買顯卡 OpenVINO 也能玩 Stable Diffusion V2!

近期掀起的一陣AIGC浪潮讓ChatGPT大型語言模型、Midjourney與DALL-E等圖像生成模型備受關注,其中又以Stable Diffusion最受到社群熱烈討論,主要原因就是可以自行佈署與修改模型,可玩性與彈性相當大!本篇就要來介紹如何使用OpenVINO Notebooks來玩Stable Diffusion V2!

Read More