台灣自有繁中混合專家模型Project TAME正式開源
台灣自主研發的繁體中文大型語言混合專家模型 Project TAME (TAiwan Mixture of Experts) 於7月1日正式亮相並以開源形式提供下載。
LangChain框架已正式支援OpenVINO!
透過LangChain,開發者可以輕鬆構建基於RAG或者Agent流水線的複雜應用體系,而目前我們已經可以在LangChain 的關鍵元件LLM、Text Embedding和Reranker中直接呼叫OpenVINO進行模型部署!
【2024 MAI Talks】企業LLM落地關鍵:模型微型化技術
Deep Mentor CEO吳昕益分享了企業將大型語言模型(LLM)落地部署需要的關鍵技術,深入介紹模型微型化技術的特點。
Skymizer為邊緣裝置LLM處理打造加速器晶片IP
Skymizer 跨足晶片硬體IP市場,發表EdgeThought (ET2)系列加速器IP,號稱採用革命性的軟硬體協同設計,以該公司的編譯器技術為核心,結合為LLM處理量身打造的運算與記憶體架構,將能為從物聯網(IoT)、手機、PC、汽車到邊緣伺服器等裝置,提供輕鬆執行各種LLM模型的解決方案,包括能支援Meta最新Llama3 8B模型。
【活動報導】AI PC搭OpenVINO 在邊緣輕鬆部署LLM!
為了讓開發者更充分了解如何在自己的AI PC上發揮Intel最新版本OpenVINO開發平台的效能以實現更多創新應用,MakerPRO與Intel共同舉辦了以「探索AI PC新時代,學習在邊緣裝置輕鬆運作LLM」為題的第四場OpenVINO DevCon線上講座。
GenAI生出的圖好不好?Google/DeepMind提出Gecko評估框架
Google/DeepMind嘗試建立文生圖的客觀量化評估方法,目前已有構想與初步研究成果,此方法稱之為蜥蜴、壁虎(Gecko),本文將介紹這套評估框架。