邊緣系統VLM視覺理解推論實作工作坊
|
  • 單元
  • 技術導讀
  • 教學文

認識IPEX-LLM:LLM模型最佳化的PyTorch工具

IPEX-LLM是英特爾為其 XPU(Xeon/Core/Flex/Arc/PVC)提出的低位元 LLM 開源(Apache 2.0授權)函式庫,是專為 PyTorch 生態打造的LLM執行擴充套件,具有廣泛的模型支援、低延遲和記憶體佔用小等優勢。

量子國家隊聯手仁寶開發退火運算應用

由國科會補助支持的國立成功大學副教授舒宇宸主持之數位退火研發推動計畫,近日宣佈與仁寶電腦啟動合作,將共同加速開發量子啟發運算的實務應用。

提升複雜場景辨識力:YOLOv12 向 Transformer 技術靠攏

YOLOv12也向Transformer技術靠攏!本文介紹其創新設計技術亮點。

ADI低功耗AI MCU – MAX78000,適用電池供電環境

Analog Devices(ADI)推出的MAX78000,是一款針對Edge AI應用設計的超低功耗微控制器(Microcontroller Unit, MCU),專為在資源有限的邊緣設備上執行神經網路推論而打造。

耐能與Spark合作推出AI VMS整合方案

隨著AI技術快速演進,傳統VMS(Video Management System)監控管理架構已無法滿足現代社會對於安全與效率的雙重要求。為此,Spark迪維科與耐能(Kneron)合作,推出結合可重構式NPU與AI辨識模型的全新一代AI VMS解決方案──Argo。

APMIC宣佈Formosa-1語言模型已與MCP協議深度整合

APMIC與Twinkle AI社群開發之輕量級3B參數語言模型「Formosa-1」,現已可與模型上下文協定(MCP)進行深度整合。

AI程式助手:GitHub Copilot 是什麼?

AI程式助手是一項結合人工智慧與軟體開發的創新工具,無論是加速專案開發、減少錯誤,或作為學習的輔助,都是當代開發者不可忽視的利器。本文介紹熱門的Github Copilot,以及3個類似的工具。

【Arm的AI世界】以ExecuTorch和KleidiAI執行LLM推論 充分釋放行動端AI潛力!

受惠於Arm和Meta工程團隊的協作,AI開發人員可在具有i8mm ISA擴展的基於Armv9架構之Arm Cortex-A CPU上部署Llama量化模型,運作速度最高可提升20%;本文將分享更多細節,包括…

Ceva NPU為Nextchip新一代ADAS方案提供更清晰視覺

晶片和軟體IP授權廠商Ceva的NeuPro-M邊緣人工智慧NPU IP已授權Nextchip,應用於其下一代先進駕駛輔助系統(ADAS)解決方案。

NVIDIA與Google的通用機器人AI技術是競爭或互補?

NVIDIA與Google持續提出通用型機器人AI(Generalist Robot AI)架構,本文將從兩者的相似性與互補性進行探討,以提供對通用機器人AI合作與融合可能性的分析展望。

認識IPEX-LLM:LLM模型最佳化的PyTorch工具

IPEX-LLM是英特爾為其 XPU(Xeon/Core/Flex/Arc/PVC)提出的低位元 LLM 開源(Apache 2.0授權)函式庫,是專為 PyTorch 生態打造的LLM執行擴充套件,具有廣泛的模型支援、低延遲和記憶體佔用小等優勢。

提升複雜場景辨識力:YOLOv12 向 Transformer 技術靠攏

YOLOv12也向Transformer技術靠攏!本文介紹其創新設計技術亮點。

AI程式助手:GitHub Copilot 是什麼?

AI程式助手是一項結合人工智慧與軟體開發的創新工具,無論是加速專案開發、減少錯誤,或作為學習的輔助,都是當代開發者不可忽視的利器。本文介紹熱門的Github Copilot,以及3個類似的工具。

【Arm的AI世界】以ExecuTorch和KleidiAI執行LLM推論 充分釋放行動端AI潛力!

受惠於Arm和Meta工程團隊的協作,AI開發人員可在具有i8mm ISA擴展的基於Armv9架構之Arm Cortex-A CPU上部署Llama量化模型,運作速度最高可提升20%;本文將分享更多細節,包括…

NVIDIA與Google的通用機器人AI技術是競爭或互補?

NVIDIA與Google持續提出通用型機器人AI(Generalist Robot AI)架構,本文將從兩者的相似性與互補性進行探討,以提供對通用機器人AI合作與融合可能性的分析展望。

訓練機器人互相學習:DeepMind 的 RT-X基礎模型

本文介紹由Google DeepMind主導推動的通用機器人AI基礎模型 – Robotic Transformer的先進模型:RT-X。

YOLOv12的改變:向Transformer、Attention靠攏!

最新版本 的YOLOv12延續了 YOLO 系列一貫的「高速 + 準確」的設計理念,但在架構、訓練方法與推論效率方面均有顯著改進,並且更加靠近 transformer 技術與多模態學習的整合,本文將做個介紹。

用OpenVINO GenAI解鎖LLM極速推論:推測式解碼讓AI爆發潛能

借助簡化開發和最佳化硬體利用率的工具,OpenVINO使開發者能夠在各種即時和資源受限的場景中部署高性能的LLM;無論是構建回應迅速的聊天機器人或高效率虛擬助手,還是具備可擴展性的創意應用,OpenVINO正在重新定義AI推論的可能性。本文將探討如何利用OpenVINO GenAI的推測式解碼技術使這一變革性創新成為現實。

用Yocto Project打造輕量、客製化、高性能的 AI 邊緣系統

如果想打造輕量、可客製化、高性能的 AI 邊緣系統,Yocto Project 是其中的一個選擇。本文介紹Yocto支援主流AI運算架構現況及整合AI開發案例。

Physical AI近了!如何打造「通用又專才」的機器人?

如何透過Physical AI讓機器人結合語言理解、視覺感知、策略推理和動作控制等多模態 AI 能力,最終能像「真人」自主且適性地執行多種任務?NVIDIA嘗試提出開放式基礎模型: GR00T N1,以及眾多配套技術,且看本文的介紹。

訓練機器人互相學習:DeepMind 的 RT-X基礎模型

本文介紹由Google DeepMind主導推動的通用機器人AI基礎模型 – Robotic Transformer的先進模型:RT-X。

用OpenVINO GenAI解鎖LLM極速推論:推測式解碼讓AI爆發潛能

借助簡化開發和最佳化硬體利用率的工具,OpenVINO使開發者能夠在各種即時和資源受限的場景中部署高性能的LLM;無論是構建回應迅速的聊天機器人或高效率虛擬助手,還是具備可擴展性的創意應用,OpenVINO正在重新定義AI推論的可能性。本文將探討如何利用OpenVINO GenAI的推測式解碼技術使這一變革性創新成為現實。

細談「春仔產生器」的專案拆解

本文將接續《用生成式 AI 打造「春仔」產生器》一文,深入拆解此專案,介紹程式解析的三大理路。

輕鬆用Intel AI PC及OpenVINO建立數位分身

一個完整的數位分身,就像真人一樣,要具有自然語言對話、豐富肢體動作和產生生動表情的能力,其中就需要用到許多生成式AI技術,包括利用語音轉文字(STT)得到問題的文字,交給大語言模型(LLM)進行文字問答,再將文字轉語音(TTS)把答案讀出,最後再配合語音自動對嘴形(Lip Sync)讓人物影像的嘴巴也能和語音同步動起來。

【Arm的AI世界】三步驟輕鬆在Ethos-U85上使用PyTorch與ExecuTorch

Arm透過在Ethos-U85上支援ExecuTorch測試版,為開發人員建構物聯網邊緣端應用提供了更多支援。開發人員可以借助ExecuTorch,高效率地部署原生開發的PyTorch模型,基於Arm平台建構出智慧且回應迅速的IoT解決方案。

【CIRCUS Pi】ESP32教學系列:用ESP32玩91段電子紙

本文將介紹怎麼使用 I2C 介面的溫溼度感測器,並且將溫溼度資訊顯示在電子紙螢幕上面。

用生成式AI打造「春仔」產生器

本文將介紹如何利用GenAI輔助,設計出能動態生成台文春聯的小程式。

【Maker電子學】Flash 記憶體的原理與應用—PART22

本篇文章說明如何抹除及寫入 SD 卡上的資料,並說明使用這些指令的相關程序。

【Maker電子學】Flash 記憶體的原理與應用—PART21

本篇文章說明如何讀取 SD 卡的資料、讀取資料的時序,以及單一 block 讀取和連續讀取的差別。

Thunkable UI 元件解析系列一:Basic 類

積木式 app 開發工具Thunkable發行已曆十年,仍然沒有相關中文著作。為此,本系列文章將系統性介紹Thunkable在拖曳模式下所有UI元件,讓初學者學習起來更加順利。