Ollama 是一個開源工具，專門用于在本地計算機上運行和操作大型語言模型（LLM）
官方下載網站（https://ollama.ai/）
Windows系統安裝方法
建議命令行安裝（默認安裝會直接安裝到C盤）
OllamaSetup.exe/DIR=D:\software\ollama大模型下載地址 -- 按需求下載??libraryBrowse Ollama's library of models.
https://ollama.com/library/命令行導入大模型：
# 導入大模型
ollama create deepseek8b -f Modelfile # 查看
ollama list# 運行
ollama run deepseek8bModelfile 文件包含目標大模型路徑
FROM H:\2025-deepseek\llm_model\Deepseek8B\DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf?效果展示：
啟用遠程訪問
默認僅限本地訪問，如需遠程調用：
# 開放防火墻端口
New-NetFirewallRule -DisplayName "Ollama API" -Direction Inbound -Action Allow -Protocol TCP -LocalPort 11434# 啟動 Ollama 時綁定到所有網絡
ollama serve --host 0.0.0.0?API接口 Python調用
import requestsresponse = requests.post("http://localhost:11434/api/generate",json={"model": "deepseek8b","prompt": "你運行的大模型是那個版本，簡潔回答","stream": True,}
)
print(response.json()['response'])嗯，我現在需要分析一下這個用戶的問題。他們說：“你運行的大模型是那個版本，簡潔回答是最好的。”看起來用戶是在詢問我當前使用的模型版本，并且希望得到一個簡明扼要的回答。
.......</think>
我是由深度求索公司獨立運行的DeepSeek-R1-Lite-Preview模型。
Linux系統安裝方法
直接下載二進制
# 下載最新版 Ollama
curl -L https://ollama.ai/download/ollama-linux-amd64 -o ollamatar -xf ollama-linux-amd64.tgz# 移動到系統路徑
sudo mv bin/ollama /usr/local/bin/# 賦予執行權限
chmod +x /usr/local/bin/ollama啟動 Ollama 服務
# 啟動服務（前臺運行）
ollama serve# 或作為后臺服務（需 systemd）
cat <<EOF | sudo tee /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Restart=always
RestartSec=3[Install]
WantedBy=default.target
EOF# 啟動并設置開機自啟
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama測試可用性?
下載預訓練模型（例如 phi）
ollama pull phi驗證模型運行
# 交互式測試
ollama run phi "How to check disk space in Red Hat?"
啟用本地 API 接口
Ollama 默認提供 REST API（端口 11434）：
# 測試 API
curl http://localhost:11434/api/generate -d '{"model": "phi","prompt": "Hello"
}'
API 接口示例
-
對話模式：
curl http://localhost:11434/api/chat -d '{"model": "phi","messages": [{ "role": "user", "content": "Who are you?" }]
}'
使用 Python 調用 API
import requestsresponse = requests.post("http://localhost:11434/api/generate",json={"model": "phi", "prompt": "Explain RPM packages"}
)
print(response.json()["response"])常見問題
-
GPU 加速：
安裝 NVIDIA 驅動和 CUDA，添加--gpus all參數（需 Docker 運行）。 -
端口沖突：
修改啟動參數ollama serve --host 0.0.0.0:11435。 -
模型存儲路徑：
默認在~/.ollama/models，可通過環境變量OLLAMA_MODELS修改。
