從CLIP應用領會潛藏空間(Latent space)的魅力
本文將從商店櫃檯的產品推薦應用來說明:我們可以拿CLIP的原始程式碼,搭配商家自有產品圖像(Image)和圖像敘述文句(Text),來訓練出企業自用的CLIP小模型,同時也領會其幕後潛藏空間(Latent space)的運作及其效果。
如何利用低位元量化技術進一步提升大模型推論性能
相比運算量的增加,大模型推論速度更容易受到記憶體頻寬的影響,導致算力資源無法得到充分發揮,進而影響性能;低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一,本文將探討低位元量化技術如何幫助LLM提升性能,以及新版OpenVINO對於低位元量化技術的支援。
如何選擇最適合你的AI推論模型量化方案?
AI推論模型主要透過量化(Quantization)、修剪(Pruning)和聚類(Clustering)三種方式進行最佳化,本文提出一個決策樹,幫助你選擇最適合的量化技術。
TensorFlow Lite全面支援半精度(FP16)運算,可將設備端推論性能翻倍
TensorFlow團隊宣佈,TensorFlow Lite 和 XNNPack 全面支援FP16的半精度推論(Half Precision Inference),同時指出,透過在 ARM CPU 上啟用半精度推論,能將TensorFlow Lite 的XNNPack backed的浮點推論性能提高一倍。
【MakeCode】在micro:bit上實作混成(blended)計步器
本文將帶領讀者們在一塊 micro:bit 主板上體驗由 MakeCode 平台提供的積木(Blocks)、靜態型別腳本(Static TypeScript,STS)和 Static Python(SP)三種程式語言開發工具,以 micro:bit 最著名的計步器範例展示。