邊緣系統VLM視覺理解推論實作工作坊
|
如何利用低位元量化技術進一步提升大模型推論性能
12 月12

如何利用低位元量化技術進一步提升大模型推論性能

Posted By on 12 月 12, 2023 in AI關鍵技術, Edge AI教學文, Edge AI開發地圖, Edge AI開發學習, Intel, LLM, OpenVINO, OpenVINO專欄, 教學文, 量化技術

相比運算量的增加，大模型推論速度更容易受到記憶體頻寬的影響，導致算力資源無法得到充分發揮，進而影響性能；低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一，本文將探討低位元量化技術如何幫助LLM提升性能，以及新版OpenVINO對於低位元量化技術的支援。

Read More
如何選擇最適合你的AI推論模型量化方案？
12 月10

如何選擇最適合你的AI推論模型量化方案？

Posted By on 12 月 10, 2023 in Edge AI, Edge AI開發地圖, Edge AI開發環境, TensorFlow, 技術新訊, 量化技術

AI推論模型主要透過量化（Quantization）、修剪（Pruning）和聚類（Clustering）三種方式進行最佳化，本文提出一個決策樹，幫助你選擇最適合的量化技術。

Read More
TensorFlow Lite全面支援半精度(FP16)運算，可將設備端推論性能翻倍
12 月07

TensorFlow Lite全面支援半精度(FP16)運算，可將設備端推論性能翻倍

Posted By on 12 月 7, 2023 in Edge AI, Edge AI開發地圖, Edge AI開發環境, TensorFlow, 技術新訊, 新聞稿

TensorFlow團隊宣佈，TensorFlow Lite 和 XNNPack 全面支援FP16的半精度推論（Half Precision Inference），同時指出，透過在 ARM CPU 上啟用半精度推論，能將TensorFlow Lite 的XNNPack backed的浮點推論性能提高一倍。

Read More
活用IPEX和Intel GPU加速大型語言模型訓練效率
12 月05

活用IPEX和Intel GPU加速大型語言模型訓練效率

Posted By on 12 月 5, 2023 in AI關鍵技術, Edge AI開發地圖, Edge AI開發環境, Intel, LLM, OpenVINO, OpenVINO專欄, PyTorch, 技術新訊, 評測, 開箱文

以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品，可提供最佳化功能大幅提升運作效能。例如透過PyTorch的裝置來發揮Intel GPU的潛能，加速AI模型的訓練和推論。本篇文章將說明如何善用上述兩項產品來實現效能的大幅提升，仍然以微調訓練的範例來展現它們的特性，並說明其使用方法和流程。

Read More
【Maker 玩 AI】Edge Impulse 搭配 XIAO ESP32-S3 實作影像分類專題
12 月04

【Maker 玩 AI】Edge Impulse 搭配 XIAO ESP32-S3 實作影像分類專題

Posted By on 12 月 4, 2023 in Edge AI應用案例, Edge Impulse, ESP32, vMaker, 案例研究, 物件偵測, 特寫, 開發工具

說到近年最強勢的邊緣端 ML 平台，莫過於 Edge Impulse 莫屬了！軟體的易用性搭配硬體的廣泛支援，造就 Edge Impulse 在社大社群上的討論度都勇冠群雄。本篇筆者將實際操作 Edge Impulse 影像分類模型訓練，並且佈署到 XIAO ESP32S3 Sense 這個熱門 MCU 開發板上！

Read More
Intel攜手生態系夥伴展示AI智慧醫療應用最新成果
11 月30

Intel攜手生態系夥伴展示AI智慧醫療應用最新成果

Posted By on 11 月 30, 2023 in OpenVINO, OpenVINO應用, 新聞稿, 智慧醫療, 產業趨勢

英特爾(Intel)攜手24家合作夥伴於年度台灣醫療科技展(Healthcare+ EXPO 2023)共同展示基於最新AI技術的實際應用案例，並將與近300位來自東南亞、東北亞、歐洲、中東、美州的國際代表團專家互相交流分享，以及安排超過80場的商業媒合會議，促進台灣與國際合作機會，持續擴大智慧醫療推廣與應用。

Read More