如何選擇最適合你的AI推論模型量化方案?
AI推論模型主要透過量化(Quantization)、修剪(Pruning)和聚類(Clustering)三種方式進行最佳化,本文提出一個決策樹,幫助你選擇最適合的量化技術。
TensorFlow Lite全面支援半精度(FP16)運算,可將設備端推論性能翻倍
TensorFlow團隊宣佈,TensorFlow Lite 和 XNNPack 全面支援FP16的半精度推論(Half Precision Inference),同時指出,透過在 ARM CPU 上啟用半精度推論,能將TensorFlow Lite 的XNNPack backed的浮點推論性能提高一倍。
【白皮書導讀】Arm Ethos-U NPU的Vela Compiler開發環境及流程
Edge AI的必爭之地已走向嵌入式系統,如何架構低功耗、高效能的嵌入式AI運算架構呢?micro NPU + MCU/MPU看來是不錯的選項,本文將介紹Arm Ethos-U NPU的Vela Compiler開發環境及流程。
【Maker 玩 AI】Pixetto - 用積木開發 AI 程式
由 VIA 威盛開發的 Pixetto 也是一款 AI 視覺感測模組,硬體晶片使用核心為 Cortex-A7 900MHz 的 SoC HI3518,內建 64MB DDR SDRAM 處理影像與額外 128MB 的 Flash 儲存空間,並搭配 HI1311 整合了 Wi-Fi 功能。本篇文章會帶大家一起看看如何用積木玩轉 Pixetto!
不須轉換!OpenVINO整合TensorFlow框架實現推論加速!
Intel在2021下半年推出的OpenVINO™ integration with TensorFlow能夠實現在TensorFlow中介接OpenVINO執行推論加速,本篇將帶大家實際操作,了解如何在不用改code的情況下,直接在TensorFlow推論並完成OpenVINO加速。