用OpenVINO GenAI解鎖LoRA微調模型推論
借助OpenVINO GenAI,你可以無縫整合 LoRA配接器,實現對大語言模型的快速個性化客製。開發者還可以一次性載入多個LoRA配接器,並在執行時快速切換,無需重新編譯基礎模型。
黑暗時刻仍能發聲:用Meshtastic打造無電、無網通訊生命線
對每一個關心家人安危的人來說,Meshtastic 的出現,就是讓「通訊自主」不再只是國防單位的專利,而是一種可以放入口袋的民間力量。
OpenVINO 2025.0來了…一起繼續玩生成式AI吧!
OpenVINO的最新版本2025.0,除了性能的再次提升,也擴大了GenAI模型的支援範圍,並針對Intel NPU導入了關鍵最佳化功能。讓我們一起來探索這些令人興奮的更新!
運用BF16與NHWC技術實現進階版LLM微調訓練最佳化
本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術,來最佳化大型AI模型的訓練速度與記憶體節省,並延續以
利用Intel平台提升LLM微調與訓練效率:ResNet50+LoRA範例
本文將說明如何善用英特爾(Intel)所研發的新產品和相關技術,來提升AI模型的訓練效率,以便提供更優質的推論功能。為了循序漸進介紹上述的新產品及其相關的使用技術,本文先從大家熟悉ResNet50圖像分類模型做為起步範例,並搭配LoRA來進行外掛訓練,以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。
【AI趨勢】邊緣運算的終極選擇 - MCU
邊緣運算近年來相當受重視,被視為未來AI發展的關鍵技術之一,但它的運作原理是什麼?與原本的雲端運算又有何差異?本文邀請此領域的專家Neil,解析邊緣運算的箇中奧秘,以及結合MCU後能在AI領域中發展的應用。