玩轉 AI 機器人的新境界 – Now and Future
|
運用BF16與NHWC技術實現進階版LLM微調訓練最佳化
12 月18

運用BF16與NHWC技術實現進階版LLM微調訓練最佳化

本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術,來最佳化大型AI模型的訓練速度與記憶體節省,並延續以微調模型訓練為範例,透過完整程式碼來示範如何發揮這兩項新技術的用法和魅力。

Read More
活用IPEX和Intel GPU加速大型語言模型訓練效率
12 月05

活用IPEX和Intel GPU加速大型語言模型訓練效率

以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品,可提供最佳化功能大幅提升運作效能。例如透過PyTorch的裝置來發揮Intel GPU的潛能,加速AI模型的訓練和推論。本篇文章將說明如何善用上述兩項產品來實現效能的大幅提升,仍然以微調訓練的範例來展現它們的特性,並說明其使用方法和流程。

Read More
PyTorch為邊緣及行動設備推出ML推論優化工具:ExecuTorch
10 月26

PyTorch為邊緣及行動設備推出ML推論優化工具:ExecuTorch

PyTorch Edge團隊日前(10/17)宣布推出ExecuTorch解決方案,此方案可為行動及邊緣設備提供設備端推論功能(on-device inference),目前已獲得Arm、Apple 和 Qualcomm 創新中心等大廠的支持。

Read More
【知識庫】PyTorch 與 TensorFlow有什麼差別?
10 月22

【知識庫】PyTorch 與 TensorFlow有什麼差別?

同樣作為適合新手入門人工智慧領域的PyTorch與 TensorFlow,他們之間又有哪些差異呢?

Read More
免「仲介」 OpenVINO能直接支援PyTorch模型物件!
8 月04

免「仲介」 OpenVINO能直接支援PyTorch模型物件!

隨著OpenVINO 2023.0版本的發佈,OpenVINO工具庫中預置了全新的PyTorch前端,為開發者們提供了一條全新的PyTorch模型支援路徑,帶來更友好的用戶體驗—— OpenVINO的mo工具可以直接將PyTorch模型物件轉化為OpenVINO的模型物件,開發者可以不需要將ONNX模型作為中間過渡。

Read More
在DeepStream上使用自己的Pytorch模型
9 月23

在DeepStream上使用自己的Pytorch模型

DeepStream工具由NVIDIA開發,能夠處理多個串流影像,並進行智慧辨識。本文將介紹如何將其應用在Jetson Nano上,並於DeepStream導入自己的Pytorch模型執行辨識。

Read More