作者：陸向陽
毫無疑問的，Ollama是近期非常熱門的本機端大語言模型（LLM）管理工具，透過Ollama可以下載、執行許多知名的大語言模型，如Meta的Llama、Microsoft的Phi、Google的Gemma等，當然！前提是你的筆電、桌機要夠力，記憶體要足，最好有AI硬體加速設計，如GPU、NPU等，否則必須下載、執行參數量較小的AI模型，或花較長時間耐心等待AI推論結果回應。
Ollama從下載、安裝到見到互動成效非常的快，安裝完Ollama並下載（通常稱為拉pull，從雲端拉下來一個AI模型）一個模型、執行一個模型後，就可以在命令提示字元的視窗內，以命令列模式（Command Line）來跟大語言模型文字互動。
不過命令列模式有些缺點，一是今日多數電腦使用者已很少使用命令列模式，二是這樣無法如ChatGPT般依據話題分門別類展開聊，三是現在日益重視模型的回應正確性，開始導入所謂的檢索增強生成（Retrieval-Augmented Generation, RAG），這也是命令列模式下無法做到的。
所幸Ollama只負責下載、執行等管理模型的動作，與模型互動的介面部份允許再行彈性搭配，目前有多套軟體可以充當Ollama的互動介面，例如Open WebUI、AnythingLLM、Page Assist等。
其中Open WebUI比較麻煩，Open WebUI以Linux環境為主，想在Windows下使用需要搭配WSL 2、Docker Desktop on Windows等軟體才行，需要額外的安裝程序，所以本文以AnythingLLM與Page Assist等為主來說明，AnythingLLM屬於本機端互動方式，而Page Assist則為網頁互動方式，類似上網使用ChatGPT的方式。
AnythingLLM
首先到AnythingLLM.com官網點按Download for Desktop（見圖1），網頁切換後選擇Windows，接著選擇Download for Windows (x64)，現階段大家還是購買、使用x86 Windows電腦為主。
圖1
筆者以AnythingLLM 1.7.2版為例，下載約286MB，之後進入尋常的軟體安裝程序，如果Windows提示不要執行，請先按「其他資訊」而後按「仍要執行」（見圖2），這主要是AnythingLLM這套軟體的發行還沒有獲得Microsoft的查核認證，故出現資安警告訊息。
圖2
之後選擇「為使用這台電腦的任何人安裝」或「僅為我安裝」兩者均可，安裝至少要1GB空間，其實還要再多一點，以便留空間下載、放置AI模型。
裝好後先啟動過往已安裝的Ollama（見圖3），然後再啟動AnythingLLM，出現主畫面後先選下方偏左位置的「扳手」圖案（見圖4），而後左側選單畫面應該是在「介面自訂」位置，主畫面則為「外觀」，這時Display Language應該已經選中Chinese (Taiwan)，沒有的話再選一下（見圖5）。
圖3
圖4
圖5
然後左側選單選「AI服務提供者大型語言模型(LLM)」，而後在主畫面偏上位置的「LLM提供者」選單中選「Ollama」（見圖6），之後按下側偏左位置的「回返」標誌，接下來一切使用就跟ChatGPT一樣，左側可以建立各種話題，並長期保有對話記錄。
至於想導入RAG，則是先在左側按下「新增工作區」（筆者暫以LLM之名建立一個工作區）後點按「上傳」標誌（見圖7），如此便開啟另一個視窗，這時再將指定的檔案載入給AnythingLLM（見圖8），而後消化，之後就能在對話時更精準回話了。
圖6
圖7
圖8
Page Assist
AnythingLLM互動上採本機端應用程式的風格，若希望使用上更像網頁上的ChatGPT，則可以在Chrome相容瀏覽器上加裝延伸程式（extension，大陸稱為擴展，意涵類似於Add-on附加程式、Plug-in外掛程式）來實現，這套延伸程式就是Page Assist。
首先到Chrome瀏覽器的線上應用商店搜尋關鍵字「Page Assist」（見圖9），然後安裝該延伸程式，以及啟動該延伸程式。
圖9
啟動後，記得也要檢查一下Ollama是否啟動，因為Page Assist底層還是呼叫Ollama的，然後在偏左上位置選擇一個已經安裝於Ollama的模型，畫面中筆者已經裝了兩個相對少參數的模型，即llama3.2:1b、qewn:latest。（見圖10）
圖10
圖10還有一個值得說明，畫面下緣位置有個開關可選擇開或關，若打開，則是AI模型無法回答時可以透過Internet找尋答案，看個人需求是否要開。（目前筆者所用的1.4.3版Page Assist即便可選擇語系為台灣，但顯示仍為簡體中文，可能需要再等待更新）
最後Page Assist一樣有RAG能力，在主畫面右上位置有個「齒輪」標誌，按下後出現設定相關選單，左側選單即有「管理知識」的選項，按下後再按偏右上角的「添加新知識」就可以上傳相關議題的檔案，讓AI模型在限定範疇內回答（見圖11）。
圖11
除了Open WebUI、AnythingLLM、Page Assist外其實還有一堆可以介接Ollama的軟體，如Chatbox AI，或者直接也包辦Ollama功能的軟體，如GPT4All，選擇搭配眾多，日後有機會再作說明。
- 替本機端大語言模型Ollama裝上親和介面 - 2025/02/03
- 項鍊型人工智慧Omi開發技術解析 - 2025/01/28
- 產業級Arduino也擁抱LLM AI - 2025/01/24
.jpg)
.jpg)