簡介
Ollama https://github.com/ollama/ollama/ 是一個基于 Go 語言 的 本地大語言模型運行框架，專注于本地化運行大型語言模型（LLM）的開源工具。
類 Docker 產品（支持 list,pull,push,run 等命令），更好玩的是它保留了 Docker 的操作習慣， 讓Docker使用者很容易上手。
在管理模型的同時，它還提供了一些 Api 接口，讓能夠像調用 OpenAI 提供的接口那樣進行交互。
特點
-
一鍵部署模型：單條命令完成模型下載、加載和交互。
-
多模型并行支持：同時運行多個模型實例，互不干擾。
-
跨平臺兼容：支持Windows、macOS、Linux（包括ARM架構如樹莓派）。
-
RAG集成：可結合本地文檔庫實現檢索增強生成（Retrieval-Augmented Generation）。
下載安裝
Ollama 支持多個平臺，在官網 https://ollama.com選擇適合的 安裝包。
安裝完成后 輸入下面的命令, 來啟動 Ollama 服務。
ollama serve
注意：可以將 ollama 配置成環境變量，可以在任意位置使用該命令。
服務啟動后，Ollama 將監聽默認端口 11434，可以通過訪問 localhost:11434，查看是否正常運行：
AI 模型管理
ollama 安裝之后，其同時還是一個命令，與模型交互就是通過命令來進行的。
-
ollama list：顯示模型列表。 -
ollama show：顯示模型的信息 -
ollama pull：拉取模型 -
ollama push：推送模型 -
ollama cp：拷貝一個模型 -
ollama rm：刪除一個模型 -
ollama run：運行一個模型
官方提供了一個模型倉庫: https://ollama.com/library， 你可以搜索你想要的模型。
官方建議：應該至少有 8 GB 可用 RAM 來運行 7 B 型號，16 GB 來運行 13 B 型號，32 GB 來運行 33 B 型號。
在這里我選擇下載目前最火的開源 deepseek-r1 模型來做演示。模型地址為：https://ollama.com/library/deepseek-r1 ，因我的電腦有 32G，所以選擇了 14b 的模型來調試。
ollama run deepseek-r1:14b
該 run 命令 相docker的 run一樣，如果本地沒有該模型，則會先下載模型再運行。
模型運行之后，會默認進入到交互狀態。
UI界面 調用大模型
在終端中使用，肯定是 不如 像 ChatGPT 頁面 進行交互的 體驗 好，也不能保留之前的聊天記錄。
針對這個情況，我們可以 安裝 類似 chatgpt 一樣的交互界面的客戶端。ChatBox 個人感覺挺好用的。
