致敬?回敬?繼NVIDIA Chat with RTX後AMD亦推行LLM Studio
LLM/GenAI倚賴雲端資料中心機房裡龐大的運算力,才能即時完成推論結果並回應,一旦網路斷線就無法使用,同時,雲端執行也有洩漏公司機密或個人隱私等風險,鑑於此,不少人開始期待透過本地端或本機端執行LLM。本篇文章,就會介紹AMD推行的LLM Studio,其可下載於本地端進行簡單的聊天問答。
新唐發表以MCU/MPU為基礎的終端AI平台
以擴展AI生態系至微控制器(MCU)領域為目標,新唐科技(Nuvoton)宣布推出基於微控制器的終端AI平台;此解決方案以新唐全新架構設計的微控制器和微處理器為基礎,包括NuMicro MA35D1、NuMicro M467以及配備Arm Ethos-U55 NPU的NuMicro M55M1系列。
【Edge AI專欄 #15】從MWC 2024看AI手機未來發展
一年一度的世界通訊大會(MWC 2024)於2/26到2/29在西班牙巴塞隆納盛大舉行,此次重點落在了AI上,尤其是不靠連網、本機可獨立運算的生成式應用。為了讓大家更理解AI手機究竟有哪些方案供應商,硬體上究竟有哪些重大突破及軟體上到底能玩什麼應用,本篇文章會為各位一一介紹!
推探Google開源、輕量級大型語言模型Gemma
Google基於原有Gemini模型經驗與技術衍生打造Gemma模型,該模型為開放來源程式碼,滿足開源需要的開發者與用戶,有機會進行更多的延伸、衍生或更細深的客製。本篇文章就會對Gemma進行簡單的介紹。
OpenVINO 2024.0:為開發者提供更高性能、更強大支援
OpenVINO 2024.0來了!我們很高興在這個版本推出一系列強化功能,目標是在快速發展的AI領域賦予開發者更強大的能力;新版本透過動態量化、改善的GPU最佳化以及對混合專家(MoE)模型架構的支援,增強了大語言模型(LLM)的性能。OpenVINO 2024.0讓開發者能有效利用AI加速,這也要感謝來自社群的持續貢獻。
