【Edge AI專欄】當MCU遇上NPU能擦出什麼新火花？
為了讓大家更了解 MCU 加上 Micro NPU 究竟能幫大家帶來什麼好處，本文就以Seeed Studio和奇景光電合作的 Grove Vision AI Module v2 開發板及 Seeed SenseCraft AI (TinyML) 開發平台，帶著大家一起來玩玩微型 AI 電腦視覺應用。
【COMPUTEX 2024】遍地開花的Edge AI方案
許多物聯網閘道器、邊緣運算系統是使用與大宗個人電腦相同的x86架構所構成，加上樹莓派也朝完整電腦方向發展，因此，本文嘗試從台北國際電腦展（COMPUTEX）上找尋Edge AI相關的技術蹤跡。
輕鬆使用OpenVINO在本地裝置離線運作Llama3
利用OpenVINO部署Llama3到本地運算資源，例如AI PC，不僅意味著更快的回應速度和更低的運作成本，還能有效地保護資料安全，防止敏感資訊外洩。這對於需要處理高度敏感性資料的應用場景尤其重要，如醫療、金融和個人助理等領域。本文將介紹如何使用OpenVINO對Llama3模型進行最佳化和推論加速，並將其部署在本地裝置上，進行更快、更智慧的AI推論。
用OpenVINO與NNCF最佳化Whisper語音辨識模型
本文示範如何以OpenVINO與Optimum Intel載入並執行Whisper與Distil-Whisper模型進行音訊轉錄任務，以及如何使用NNCF對這些模型執行INT8訓練後量化；接著在橫跨多種CPU的裝置上以大規模語音轉文字資料集評估這些模型。
【Arm的AI世界】能將神經網路提升至更高境界的ML推論諮詢工具
Arm正在運用以支援AI快速發展為設計目標的解決方案，來打造邁向未來的路徑。其中的一項挑戰，是讓相關社群能夠取用新興的技術。在這篇部落格文章中我們將介紹Arm機器學習推論諮詢工具(Arm ML Inference Advisor，Arm MLIA)，並讓大家看到如何運用它來提升Arm IP的模型效能。我們同時也會解釋一些相關的前置作業，以及為何這些作業如此重要。
以可重構NPU實現邊緣應用 耐能致力推動AI民主化
成立於2015年、擁有台灣血統的AI晶片設計業者耐能智慧(Kneron)，於2023年底針對企業應用發表以該公司神經網路處理器(NPU)技術為基礎的KNEO 300系列EDGE GPT邊緣裝置，主打可藉由在裝置本地端(不須連結網際網路)運作GPT大語言模型，為使用者實現低延遲、高效率且具備隱私保護與資料安全性的各種Edge AI推論應用，在市場上掀起一波討論熱潮…