【Edge AI專欄】 親愛的我把AI模型縮小了- 模型減量與壓縮技術簡介
雖然我們難以像蟻人或黃蜂女一樣把自己縮小而保持生理機能不變,但把超巨大的AI模型縮小而保持推論精度不變,還是有很多方法可以達到的。接下來我們就來幫大家簡單介紹一下幾種常見技術。
【Edge AI專欄】TinyML (MCU AI) 運行效能誰說了算?
6月27日,公佈了Tiny v1.1測試結果報告,其中包括了台灣新唐科技(Nuvoton)及臺灣發展軟體科技(Skymizer)提交的亮眼成果。本篇文章會來幫大家解讀一下這份報告,讓大家能更了解未來單晶片運行AI的方向及可行性。
【開箱評測】OpenVINO讓你不上網也能和Dolly聊聊天
以往在AI模型部署優化及推論部份,通常都會想到使用 Intel OpenVINO,不過大家多半只注意到它在「電腦視覺」相關的應用,殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU處理記憶體動態外形(Dynamic Shape)的能力,使得如生成型預訓練變換模型(GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。
【Edge AI專欄 #06】 Intel OpenVINO 2023.0初體驗─如何快速在Google Colab運行人臉偵測
如今在學習AI時,往往需要一個好的教練指導開發AI的每個步驟和細節,不然就得換一套方便的工具,讓我們能專心在開發應用程式而不需要了解太多AI的數學和原理,而其中 Intel OpenVINO Toolkit就是一套不錯的AI推論(Infernece)優化工具。
【Edge AI專欄 #05】Google MediaPipe快速上手 ─ 浮空手勢也能用來當作簡報播放器
本篇文章會介紹MediaPipe及其手部追蹤、手部特徵點提取及手勢辨識的原理,最後再用浮空手勢辨識來控制PowerPoint簡報播放的實例,讓各位感受一下這項工具的方便好用之處。
【開箱評測】巴掌大的迷你主機也能跑出高效AI推論表現!
為了更進一步了解這類迷你主機在AI推論效能的表現,此次選用東擎(ASRock Industrial) NUC BOX-1260P作為測試機,AI推論部份則選用OpenVINO 2022.3版作為基礎工具。而測試項目則使用OpenVINO Notebooks中最新的物件偵測「Convert and Optimize YOLOv8 with OpenVINO」範例作為實測效能的分析。