運用BF16與NHWC技術實現進階版LLM微調訓練最佳化
本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術,來最佳化大型AI模型的訓練速度與記憶體節省,並延續以
活用IPEX和Intel GPU加速大型語言模型訓練效率
以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品,可提供最佳化功能大幅提升運作效能。例如透過PyTorch的
比前一代快多少?第五代樹莓派效能數據揭露
第五代樹莓派比前一代相同RAM容量的版本貴個5美元,但貴這5美元是否值得呢?已經有各方單位對RPi 5進行各種效能測試,用各種標竿、Benchmark軟體來測,本文就來解析這些數據,從中研判合算性,供各方創客Maker參考。
【開箱評測】MTDuino IOT開發板:NB-IoT及GPS功能介紹
為提供快速開發物聯網各種應用,解決移動型不同應用場域,邁特電子特別推出一款具裝置省電、長距離傳輸、低功耗通訊廣域網路等多功能的開發板,本篇文章會對此進行詳細介紹。
【開箱評測】巴掌大的迷你主機也能跑出高效AI推論表現!
為了更進一步了解這類迷你主機在AI推論效能的表現,此次選用東擎(ASRock Industrial) NUC BOX-1260P作為測試機,AI推論部份則選用OpenVINO 2022.3版作為基礎工具。而測試項目則使用OpenVINO Notebooks中最新的物件偵測「Convert and Optimize YOLOv8 with OpenVINO」範例作為實測效能的分析。
【Maker 玩 AI】AMB82 mini – 即時串流 Edge AI 開發板
AMB82 mini,核心SoC 型號為 RTL8735 ,工作頻率高達 500MHz,內建獨立 ISP (image Signal Processor),可以做到H.264與H.265編碼以及 HDR 影像處理等,明顯就是特別針對影像處理強化的物聯網晶片,本文將介紹AMB82 mini的特點以及該如何進行操作。