OpenVINO工具套件AI程式講座
|
以可重構NPU實現邊緣應用 耐能致力推動AI民主化
3 月08

以可重構NPU實現邊緣應用 耐能致力推動AI民主化

成立於2015年、擁有台灣血統的AI晶片設計業者耐能智慧(Kneron),於2023年底針對企業應用發表以該公司神經網路處理器(NPU)技術為基礎的KNEO 300系列EDGE GPT邊緣裝置,主打可藉由在裝置本地端(不須連結網際網路)運作GPT大語言模型,為使用者實現低延遲、高效率且具備隱私保護與資料安全性的各種Edge AI推論應用,在市場上掀起一波討論熱潮…

Read More
如何在Google Colab上運行OpenVINO Open Model Zoo範例
3 月07

如何在Google Colab上運行OpenVINO Open Model Zoo範例

本篇文章會以OMZ 影像分類(Classification) Public Pre-Trained Models為例,說明如何在Colab 上直接運行Intel Open Model Zoo。

Read More
如何在Windows平台呼叫NPU部署深度學習模型
3 月04

如何在Windows平台呼叫NPU部署深度學習模型

在最新一代的Intel Core Ultra行動終端處理器中已經整合了簡稱為NPU的神經網路加速處理器,以提供低功耗的AI算力,而OpenVINO工具套件也在第一時間對NPU進行了配接。本文將帶領讀者一起看看如何在Intel Core Ultra處理器上搭建基礎環境,並呼叫NPU進行模型推論任務。

Read More
不只是評估套件?BrainChip推出Akida Edge AI Box閘道器
2 月28

不只是評估套件?BrainChip推出Akida Edge AI Box閘道器

BrainChip與VVDN Technologies合作,推出了Akida Edge AI Box,本篇文章,就會簡單介紹這款AI Box給各位認識。

Read More
不怕離線!100%在樹莓派上執行的LLM專案
2 月23

不怕離線!100%在樹莓派上執行的LLM專案

ChatGPT掀起一波LLM熱潮,但LLM運作需要龐大運算力,因此目前多是在雲端上執行。不少人希望LLM也能在本地端執行,如此就不怕斷線、洩漏隱私、內容審查、誤導等缺點。本篇文章,就會介紹創客如何利用樹莓派執行的LLM專案!

Read More
【Arm的AI世界】用Vela編譯器在Ethos-U NPU部署神經網路模型
2 月20

【Arm的AI世界】用Vela編譯器在Ethos-U NPU部署神經網路模型

為了因應這波邊緣與終端AI裝置浪潮,Arm特地設計了microNPU 機器學習(ML)處理器Ethos-U,為面積受限的嵌入式與物聯網裝置加速ML推論。要在Ethos-U上部署神經網路(NN)模型,第一步須使用Vela來編譯你已備妥的模型。Vela是一種開源Python工具,可以將神經網路模型最佳化為能在內含Ethos-U NPU的嵌入式系統上執行之特定版本;這篇文章將展示使用Vela編譯模型的工作流程。

Read More