用OpenVINO GenAI解鎖LLM極速推論:推測式解碼讓AI爆發潛能
借助簡化開發和最佳化硬體利用率的工具,OpenVINO使開發者能夠在各種即時和資源受限的場景中部署高性能的LLM;無論是構建回應迅速的聊天機器人或高效率虛擬助手,還是具備可擴展性的創意應用,OpenVINO正在重新定義AI推論的可能性。本文將探討如何利用OpenVINO GenAI的推測式解碼技術使這一變革性創新成為現實。
Hailo在樹莓派上實證LLM技術的語音識別
樹莓派公司與Hailo合作,推出Raspberry Pi AI Kit、Raspberry Pi AI HAT+兩款加速模組,只要將加速模組加裝到樹莓派上,即可讓樹莓派電腦獲得AI加速效果。
台灣首個手機端3B繁中推論模型與高效評測工具正式推出
企業自主AI解決方案供應商APMIC宣布與繁體中文語言模型研究社群Twinkle AI攜手合作,正式推出台灣首個可於手機端運作的3B參數繁體中文推論模型「Formosa-1」。雙方亦聯手開源高效評測框架「Twinkle Eval」,共同推動台灣AI技術發展與本地化應用。
GTC 2025技術觀察:GR00T N1、Newton、BDX Blue
本篇文章會針對今年GTC 2025推出的幾款新技術:GR00T N1、Newton及BDX Blue進行簡單的介紹。
Super版NVIDIA Jetson Orin Nano到底多「超級」?技術專家揭密
瞬間成為熱門話題的Jetson Orin Nano Super到底有沒有那麼「超級」?MakerPRO攜手研華與「夜市小霸王」透過一場線上研討會,與將近400位聽眾分享了該系統的性能實測結果,以及VLM實際部署應用範例。
DeepSeek真開放?假開放?MOF提供測度參考
Linux基金會轄下的LF AI & Data基金會在去(2024)年3月發佈AI模型開放框架(Model Openness Foundation, MOF),明確表達了AI模型的開放包含17個關鍵部件(critical components)。