不怕離線!100%在樹莓派上執行的LLM專案
ChatGPT掀起一波LLM熱潮,但LLM運作需要龐大運算力,因此目前多是在雲端上執行。不少人希望LLM也能在本地端執行,如此就不怕斷線、洩漏隱私、內容審查、誤導等缺點。本篇文章,就會介紹創客如何利用樹莓派執行的LLM專案!
【創業小聚】前亞馬遜員工創立Spiral:用AI統整消費者回饋,找出「沒說出口的痛」
Spiral利用生成式AI摘要網路評論或是社群平台等多個管道的消費者回饋,不僅節省尋找和分析評論的時間,還能從消費者回饋中分析出「潛在的問題」,讓公司預先規劃日後的方向。
新年首發 OpenVINO 2023.3 LTS版本隆重登場!
是時候在生成式人工智慧(AI)領域大放異彩地開啟2024年了,最新的OpenVINO推論工具2023.3 LTS版本隆重登場,導入了額外的框架改變,最佳化了生成式AI模型的特性,並強化了對現有平台的支援,將使您在新的一年中的程式編寫之旅變得異常精彩!本文將帶您了解新版本OpenVINO的一些重要更新。
用OpenVINO和LangChain打造你專屬的RAG問答系統
隨著生成式AI的興起,和大語言模型對話聊天的應用變得非常熱門,但這類應用往往只能簡單地和你「聊聊家常」,並不能針對某些特定產業提供非常專業和精準的答案。那有沒有辦法讓你的模型學習到新的知識呢?當然有!在沒有足夠GPU運算資源對模型進行重新訓練的情況下,RAG方式對普通使用者來說更友善。本文就要來探討如何利用OpenVINO以及LangChain工具構建屬於你的RAG問答系統。
輕鬆利用OpenVINO結合LangChain與Llama2打造智慧小助手
LLM大模型存在很多痛點,包括但不限於資料陳舊、無法和外部元件互動等,本文旨在使用 OpenVINO 2023.1新版本的特性加速Llama2模型,為Llama2客製化Prompt,並用LangChain 實現可連網取得最新消息的輔助搜尋功能
【創業小聚】成立半年就成為獨角獸!法國新創Mistral AI用「完全開源」挑戰OpenAI
2022年,OpenAI的GPT模型讓AI進入人們的生活,有了更多應用場景和機會。出於對OpenAI「閉源」的作法不認同,Mistral AI以完全授權的Apache 2.0授權方式開源新的LLM模型。