利用Ollama速成本機端LLM大對話應用

Posted By 陸向陽 on 9 月 25, 2024 in AIGC, Edge AI, LLM, 教學文, 深度學習, 陸向陽 | 0 comments

2022年11月ChatGPT上線掀起大語言模型（Large Language Model, LLM）風潮，但模型的參數量過大，只能在雲端用大量電腦運算才能即時文字回應。然近期愈來愈多輕量版的LLM登場，開始能夠在一般電腦上安裝使用，如NVIDIA Chat with RTX、AMD LLM Studio等。

不過有些還是需要一些技術知識，沒那麼好實現，本文在這裡介紹一套超快實現本機端LLM的方法，那就是用Ollama這套軟體，以下逐一說明。

實務操作

1.先到Ollama官網，網址https://www.ollama.com/

假定多數人是使用Windows（也有Mac版、Linux版，本次暫跳略說明），必須是使用Windows 10（含10）之後的作業系統版本才能安裝Ollama，目前Ollama軟體本身也在預覽（preview）階段，不能期許太多，按下「Download」，然後選擇「Windows」，再按「Download for Windows (Preview)」開始正式下載「OllamaSetup.exe」檔案，檔案容量約645MB（0.3.10版，2024年9月）。

2.下載完成後雙按「OllamaSetup.exe」開始安裝，就跟一般安裝應用程式一樣，一直按「下一步」就完成了，然後從Windows的開始工具列去啟動Ollama，Ollama就會在右下角的狀態列常駐執行。