【Arm的AI世界】以ExecuTorch和KleidiAI執行LLM推論 充分釋放行動端AI潛力!
受惠於Arm和Meta工程團隊的協作,AI開發人員可在具有i8mm ISA擴展的基於Armv9架構之Arm Cortex-A CPU上部署Llama量化模型,運作速度最高可提升20%;本文將分享更多細節,包括…
用OpenVINO GenAI解鎖LLM極速推論:推測式解碼讓AI爆發潛能
借助簡化開發和最佳化硬體利用率的工具,OpenVINO使開發者能夠在各種即時和資源受限的場景中部署高性能的LLM;無論是構建回應迅速的聊天機器人或高效率虛擬助手,還是具備可擴展性的創意應用,OpenVINO正在重新定義AI推論的可能性。本文將探討如何利用OpenVINO GenAI的推測式解碼技術使這一變革性創新成為現實。
Hailo在樹莓派上實證LLM技術的語音識別
樹莓派公司與Hailo合作,推出Raspberry Pi AI Kit、Raspberry Pi AI HAT+兩款加速模組,只要將加速模組加裝到樹莓派上,即可讓樹莓派電腦獲得AI加速效果。
台灣首個手機端3B繁中推論模型與高效評測工具正式推出
企業自主AI解決方案供應商APMIC宣布與繁體中文語言模型研究社群Twinkle AI攜手合作,正式推出台灣首個可於手機端運作的3B參數繁體中文推論模型「Formosa-1」。雙方亦聯手開源高效評測框架「Twinkle Eval」,共同推動台灣AI技術發展與本地化應用。
GTC 2025技術觀察:GR00T N1、Newton、BDX Blue
本篇文章會針對今年GTC 2025推出的幾款新技術:GR00T N1、Newton及BDX Blue進行簡單的介紹。
Super版NVIDIA Jetson Orin Nano到底多「超級」?技術專家揭密
瞬間成為熱門話題的Jetson Orin Nano Super到底有沒有那麼「超級」?MakerPRO攜手研華與「夜市小霸王」透過一場線上研討會,與將近400位聽眾分享了該系統的性能實測結果,以及VLM實際部署應用範例。