|
運用BF16與NHWC技術實現進階版LLM微調訓練最佳化
12 月18

運用BF16與NHWC技術實現進階版LLM微調訓練最佳化

Posted By on 12 月 18, 2023 in Edge AI教學文, Edge AI開發地圖, Edge AI開發學習, LLM, OpenVINO專欄, OpenVINO應用, OpenVINO評測文, PyTorch, 教學文, 評測

本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術，來最佳化大型AI模型的訓練速度與記憶體節省，並延續以微調模型訓練為範例，透過完整程式碼來示範如何發揮這兩項新技術的用法和魅力。

Read More
【創業小聚】想做AI美圖只需複製指令，Civitai一年突破300萬用戶成AI圖片專用平台
12 月17

【創業小聚】想做AI美圖只需複製指令，Civitai一年突破300萬用戶成AI圖片專用平台

Posted By on 12 月 17, 2023 in AIGC, Edge AI應用案例, Edge AI開發地圖, 創業小聚, 案例研究, 特寫

特別是AI產圖，厲害的專家總是可以產出一張張美麗的圖片，自己使用起來卻始終不得要領。AI圖片生成社群平台Civitai試圖解決這個問題：使用者可以直接利用其他創作者生成AI圖片的指令，生成出自己想要的圖片。

Read More
【創業小聚】別再寄罐頭信！新創Nureply用AI產生「破冰句」，提升2.4倍開信率
12 月14

【創業小聚】別再寄罐頭信！新創Nureply用AI產生「破冰句」，提升2.4倍開信率

Posted By on 12 月 14, 2023 in AIGC, Edge AI應用案例, Edge AI開發地圖, 創業小聚, 創業故事, 案例研究, 特寫

土耳其新創Nureply利用生成式AI推出客製化陌生開發信撰寫軟體，大幅提升2.4倍開信率，並減少額外的時間、人力成本在郵件撰寫的支出。

Read More
如何利用低位元量化技術進一步提升大模型推論性能
12 月12

如何利用低位元量化技術進一步提升大模型推論性能

Posted By on 12 月 12, 2023 in AI關鍵技術, Edge AI教學文, Edge AI開發地圖, Edge AI開發學習, Intel, LLM, OpenVINO, OpenVINO專欄, 教學文, 量化技術

相比運算量的增加，大模型推論速度更容易受到記憶體頻寬的影響，導致算力資源無法得到充分發揮，進而影響性能；低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一，本文將探討低位元量化技術如何幫助LLM提升性能，以及新版OpenVINO對於低位元量化技術的支援。

Read More
【Maker電子學】步進馬達的原理與驅動—PART3
12 月11

【Maker電子學】步進馬達的原理與驅動—PART3

Posted By on 12 月 11, 2023 in Maker電子學, 教學文, 步進馬達, 電子學

本篇文章介紹一顆很常用的步進馬達驅動 IC——L293D，說明其驅動步進馬達所需要的時序和波形。

Read More
活用IPEX和Intel GPU加速大型語言模型訓練效率
12 月05

活用IPEX和Intel GPU加速大型語言模型訓練效率

Posted By on 12 月 5, 2023 in AI關鍵技術, Edge AI開發地圖, Edge AI開發環境, Intel, LLM, OpenVINO, OpenVINO專欄, PyTorch, 技術新訊, 評測, 開箱文

以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品，可提供最佳化功能大幅提升運作效能。例如透過PyTorch的裝置來發揮Intel GPU的潛能，加速AI模型的訓練和推論。本篇文章將說明如何善用上述兩項產品來實現效能的大幅提升，仍然以微調訓練的範例來展現它們的特性，並說明其使用方法和流程。

Read More