下載安裝

下載

https://ollama.com/download/windows

安裝

Windows 安裝

• 如果直接雙擊 OllamaSetup.exe 安裝，默認會安裝到 C 盤，如果需要指定安裝目錄，需要通過命令行指定安裝地址，如下：

  # 切換到安裝目錄
  C:\Users\lisiyu>D:
  # 執行安裝
  D:\ollama>OllamaSetup.exe  /DIR="d:\ollama\"
  

設置模型存儲路徑

要更改 Ollama 存儲下載模型的位置，而不是使用你的主目錄，可以在你的用戶賬戶中設置環境變量 OLLAMA_MODELS。

如下，先在安裝 ollama 目錄下創建 models 文件夾，然后在 windows 下設置環境變量：

快捷使用

• 查看 ollama 版本

C:\Users\lisiyu>ollama --version
ollama version is 0.5.7

• 查看 ollama 已下載模型列表

C:\Users\lisiyu>ollama list
NAME    ID    SIZE    MODIFIED

• 拉取模型

模型列表：https://ollama.com/search

PS C:\Users\lisiyu\Desktop> ollama pull deepseek-r1:8b
pulling manifest
pulling 6340dc3229b0...  26% ▕█████████████████████████████████████    ▏ 1.3 GB/4.9 GB  3.5 MB/s  17m32s 

• 運行模型（如果模型未拉取，默認會先執行 pull 拉取）

C:\Users\lisiyu>ollama run deepseek-r1:8b
>>> Send a message (/? for help)# 此時進入對話窗口
# 如果要退出，輸入 /bye 執行退出
# 退出后，ollama 也會在后臺運行

• 更多命令，參考幫助說明：

C:\Users\lisiyu>ollama help
Large language model runnerUsage:ollama [flags]ollama [command]Available Commands:serve       Start ollamacreate      Create a model from a Modelfileshow        Show information for a modelrun         Run a modelstop        Stop a running modelpull        Pull a model from a registrypush        Push a model to a registrylist        List modelsps          List running modelscp          Copy a modelrm          Remove a modelhelp        Help about any commandFlags:-h, --help      help for ollama-v, --version   Show version informationUse "ollama [command] --help" for more information about a command.

Ollama API

• 默認訪問地址：https://localhost:11434 或者 https://127.0.0.1:11434

• 允許外網訪問：

  由于默認只能在本機訪問，所以，要允許外網訪問，要監聽 0.0.0.0 地址。

  且有些場景需要指定端口。

  此時可以通過設置環境變量 OLLAMA_HOST 來定義，如下：

  
  

• Ollama 支持的 API：

參考官方文檔：https://ollama.readthedocs.io/api/

API URL	請求方式	請求參數	響應參數	API 說明	CURL 請求示例
/api/generate	POST	model（模型名稱）、prompt（提示文本）、可選參數（如 stream、suffix 等）	response（生成的文本）、tokens（生成的 token 數量）等	生成文本	curl http://localhost:11434/api/generate -d '{"model": "llama2", "prompt": "為什么天空是藍色的？"}'
/api/chat	POST	model（模型名稱）、messages（消息列表，包含角色和內容）	response（回復內容）、tokens（生成的 token 數量）等	聊天對話	curl http://localhost:11434/api/chat -d '{"model": "llama2", "messages": [{"role": "user", "content": "你好！"}]}'
/api/pull	POST	name（模型名稱）、可選參數（如 insecure、stream 等）	返回拉取進度或模型信息	拉取模型	curl http://localhost:11434/api/pull -d '{"name": "llama2"}'
/api/delete	DELETE	name（模型名稱）	返回狀態碼（200 OK 或 404 Not Found）	刪除模型	curl -X DELETE http://localhost:11434/api/delete -d '{"name": "llama2"}'
/api/tags	GET	無	返回模型列表	獲取本地模型列表	curl http://localhost:11434/api/tags
/api/show	POST	name（模型名稱）、可選參數 verbose（是否返回詳細信息）	返回模型詳細信息，包括 modelfile、parameters、template 等	查看模型信息	curl http://localhost:11434/api/show -d '{"name": "llama2"}'
/api/copy	POST	source（源模型名稱）、destination（目標模型名稱）	返回狀態碼（200 OK 或 404 Not Found）	復制模型	curl http://localhost:11434/api/copy -d '{"source": "llama2", "destination": "llama2-backup"}'
/api/create	POST	name（新模型名稱）、modelfile（模型文件內容）	返回創建狀態或錯誤信息	創建自定義模型	curl http://localhost:11434/api/create -d '{"name": "llama2-custom", "modelfile": "FROM llama2\nSYSTEM You are a helpful assistant."}'

注意

盡管在本地使用 AI 是一個美好的想象，感覺上是免費使用 AI，還不用擔心網絡卡頓、數據安全。
但實際上，大部分好用的模型，在消費級的機器上，根本跑不了。
能跑的都是很小規模的模型，效果很差。
所以，使用本地化 AI 的前提，一定是要有足夠資源的機器。
我的實驗機器，是 14 核 32 G，N卡 4080，8G 顯存。
目前本地部署的 AI，勉強能用的就是 llama3.2 和 deepseek-r1:8b 感覺還不錯。
其他的模型用起來，效果真的不忍直視。
當然，本地這些模型的使用，我沒有專門做測評，如果有專門做了測評的朋友，非常歡迎在此分享！