|
【開箱評測】探索未來:結合迷你PC與生成式AI的個人多媒體助理
9 月24

【開箱評測】探索未來:結合迷你PC與生成式AI的個人多媒體助理

以mini PC作為多媒體AI個人助理的應用,展現了AI技術日益貼近日常生活的趨勢,未來這類設備將在提升個人生活品質和工作效率方面扮演越來越重要的角色,而本文將分析NUC BOX-155H這台mini PC在多媒體處理上的效能,並且分享一個未來十分看好、能成為個人多媒體助理的AI模型:Stable Diffusion及其多個版本的發展與應用選擇。

Read More
OpenVINO 2024.2姿態模型效能評估:以OpenPose、YOLOv8與3D-Pose為例
8 月05

OpenVINO 2024.2姿態模型效能評估:以OpenPose、YOLOv8與3D-Pose為例

本文主要於ASRock NUC BOX-155H平台進行,使用Intel Core Ultra運作的NUC (下一代計算單元)。我們將姿態辨識模型OpenPose、3D Pose、MoveNet 與 YOLOv8 模型轉換為OpenVINO IR模型格式,分別在CPU、iGPU及NPU上進行部署。觀察這些模型在CPU、iGPU及NPU的硬體效能差異,透過實際執行影片推論的過程,觀察NPU的性能表現。

Read More
【開箱實測】OpenVINO榨出單板極限,實作離線LLM AI助理!
7 月25

【開箱實測】OpenVINO榨出單板極限,實作離線LLM AI助理!

在當前AI PC問世之際,相信不少人已知道OpenVINO可以加速離線大語言模型(LLM)的推論速度,本篇文章是要更進一步在資源更為受限的單板電腦上進行大語言模型的推論,甚至是實作一個離線大語言模型的AI助理出來!

Read More
運用BF16與NHWC技術實現進階版LLM微調訓練最佳化
12 月18

運用BF16與NHWC技術實現進階版LLM微調訓練最佳化

本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術,來最佳化大型AI模型的訓練速度與記憶體節省,並延續以微調模型訓練為範例,透過完整程式碼來示範如何發揮這兩項新技術的用法和魅力。

Read More
利用Intel平台提升LLM微調與訓練效率:ResNet50+LoRA範例
11 月29

利用Intel平台提升LLM微調與訓練效率:ResNet50+LoRA範例

本文將說明如何善用英特爾(Intel)所研發的新產品和相關技術,來提升AI模型的訓練效率,以便提供更優質的推論功能。為了循序漸進介紹上述的新產品及其相關的使用技術,本文先從大家熟悉ResNet50圖像分類模型做為起步範例,並搭配LoRA來進行外掛訓練,以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。

Read More
【CIRCUS Pi】UP Squared Pro 7000 運行 OpenVINO Notebooks之AI效能評測
8 月31

【CIRCUS Pi】UP Squared Pro 7000 運行 OpenVINO Notebooks之AI效能評測

本文開箱測試研揚(AAEON)今年 2023 最新推出第三世代的 UP Squared PRO 7000,運行 OpenVINO Notebooks 測試 AI 運算的效能。

Read More