邊緣系統VLM視覺理解推論實作工作坊
|
【Arm的AI世界】以ExecuTorch和KleidiAI執行LLM推論 充分釋放行動端AI潛力!
5 月02

【Arm的AI世界】以ExecuTorch和KleidiAI執行LLM推論 充分釋放行動端AI潛力!

受惠於Arm和Meta工程團隊的協作,AI開發人員可在具有i8mm ISA擴展的基於Armv9架構之Arm Cortex-A CPU上部署Llama量化模型,運作速度最高可提升20%;本文將分享更多細節,包括…

Read More
用OpenVINO GenAI解鎖LLM極速推論:推測式解碼讓AI爆發潛能
4 月23

用OpenVINO GenAI解鎖LLM極速推論:推測式解碼讓AI爆發潛能

借助簡化開發和最佳化硬體利用率的工具,OpenVINO使開發者能夠在各種即時和資源受限的場景中部署高性能的LLM;無論是構建回應迅速的聊天機器人或高效率虛擬助手,還是具備可擴展性的創意應用,OpenVINO正在重新定義AI推論的可能性。本文將探討如何利用OpenVINO GenAI的推測式解碼技術使這一變革性創新成為現實。

Read More
Hailo在樹莓派上實證LLM技術的語音識別
4 月18

Hailo在樹莓派上實證LLM技術的語音識別

樹莓派公司與Hailo合作,推出Raspberry Pi AI Kit、Raspberry Pi AI HAT+兩款加速模組,只要將加速模組加裝到樹莓派上,即可讓樹莓派電腦獲得AI加速效果。

Read More
台灣首個手機端3B繁中推論模型與高效評測工具正式推出
4 月09

台灣首個手機端3B繁中推論模型與高效評測工具正式推出

企業自主AI解決方案供應商APMIC宣布與繁體中文語言模型研究社群Twinkle AI攜手合作,正式推出台灣首個可於手機端運作的3B參數繁體中文推論模型「Formosa-1」。雙方亦聯手開源高效評測框架「Twinkle Eval」,共同推動台灣AI技術發展與本地化應用。

Read More
GTC 2025技術觀察:GR00T N1、Newton、BDX Blue
4 月09

GTC 2025技術觀察:GR00T N1、Newton、BDX Blue

本篇文章會針對今年GTC 2025推出的幾款新技術:GR00T N1、Newton及BDX Blue進行簡單的介紹。

Read More
Super版NVIDIA Jetson Orin Nano到底多「超級」?技術專家揭密
4 月02

Super版NVIDIA Jetson Orin Nano到底多「超級」?技術專家揭密

瞬間成為熱門話題的Jetson Orin Nano Super到底有沒有那麼「超級」?MakerPRO攜手研華與「夜市小霸王」透過一場線上研討會,與將近400位聽眾分享了該系統的性能實測結果,以及VLM實際部署應用範例。

Read More