文章目錄
- 1、Windows下ollama詳細安裝指南
- 1.1、ollama介紹
- 1.2、系統要求
- 1.3、下載安裝程序
- 1.4、安裝步驟
- 1.5、驗證安裝
- 1.6、環境變量配置
- 1.7、模型選擇與安裝【deepseek 示例】
- 1.7.1、拉取并運行模型
- 1.7.2、進階使用技巧
1、Windows下ollama詳細安裝指南
1.1、ollama介紹
ollama是一個專為在本地環境中運行和定制大型語言模型而設計的工具。它提供了一個簡單而高效的接口,用于創建、運行和管理這些模型,同時還提供了一個豐富的預構建模型庫,可以輕松集成到各種應用程序中。ollama的目標是使大型語言模型的部署和交互變得簡單,無論是對于開發者還是對于終端用戶
1.2、系統要求
- Windows 10/11 64位
- 8GB RAM(推薦16GB+)
- 10GB 可用存儲空間
- 已啟用虛擬化(BIOS/UEFI設置)
- 支持CUDA的NVIDIA GPU(可選,用于GPU加速)
1.3、下載安裝程序
-
訪問官方下載頁面:
- 官方地址:https://ollama.com/download
- 百度網盤:https://pan.baidu.com/s/18X96ZrqZGF_kJlKLpuTZVA 提取碼: byi8
-
選擇
Windows
版本下載 -
保存安裝文件到本地(默認名稱為
OllamaSetup.exe
)
1.4、安裝步驟
-
運行安裝程序
- 雙擊下載的
OllamaSetup.exe
- 如果出現用戶賬戶控制提示,點擊"是"
- 雙擊下載的
-
完成安裝
- 當出現"Installation Complete"提示時點擊"Finish"
1.5、驗證安裝
-
打開 PowerShell 或 CMD
-
執行版本檢查命令:
ollama --version
? 正常輸出示例:
ollama version 0.1.20
1.6、環境變量配置
Ollama 的默認模型存儲路徑如下:C:\Users%username%.ollama\models,無論 C 盤空間大小,需要安裝多少模型,都建議換一個存放路徑到其它盤。
-
添加安裝路徑到PATH
-
設置步驟:
-
Win+S 搜索 “環境變量” → 編輯系統環境變量
-
點擊"環境變量" → 系統變量 →新增
- 變量名為:OLLAMA_MODELS
- 變量值為:E:\Tools\ollama\models
-
確定保存
-
-
-
Ollama 退出重新啟動
Windows 右下角圖標點擊退出后,重新啟動
1.7、模型選擇與安裝【deepseek 示例】
- 硬件配置推薦表
R1模型版本 | CPU | GPU | 內存 | 存儲 |
---|---|---|---|---|
1.5B | Intel Core i5/AMD Ryzen 5 及以上 | 無強制要求,有 1GB 及以上顯存可提升性能 | 最低 8GB,推薦 16GB+ | 至少 10GB,建議留更多緩存空間 |
7B | Intel Core i7/AMD Ryzen 7 及以上 | 無強制要求,有 4GB 以上顯存更好,推薦 8 - 12GB | 最低 16GB,推薦 32GB+ | 至少 12GB,建議 30GB+ |
8B | Intel Core i7/AMD Ryzen 7 及以上 | 無強制要求,有 4.5GB 以上顯存更好,推薦 8GB+ | 最低 16GB,推薦 32GB+ | 至少 12GB,建議 30GB+ |
14B | Intel Core i9/AMD Ryzen 9 及以上 | 8GB 以上,推薦 12GB+,如 RTX 3080 及以上 | 最低 32GB,推薦 64GB | 至少 15GB,建議 50GB+ |
32B | 高端多核,強多線程處理能力 | 18GB 左右,建議 24GB+,如 NVIDIA A100 | 32GB+,推薦 64GB+ | 至少 20GB,建議 80GB+ |
70B | 服務器級 CPU,如 Intel Xeon 系列 | 40GB 以上,如 NVIDIA H100 | 64GB+,推薦 128GB+ | 至少 30GB,建議 200GB+ |
- 模型選擇決策樹
1.7.1、拉取并運行模型
-
ollama可拉取模型地址:
- ollama library : https://ollama.com/library
- 官網首頁:https://ollama.com/
以deepseek-r1 為例,點擊首頁中 DeepSeek-R1
-
拉取并運行模型:
- 拉取指令
ollama run deepseek-r1:671b # ollama run 目標模型:大小
? 正常輸出結果如下:
-
模型交互:
在交互框中可直接輸入問題
? 正常輸出結果如下:
-
查詢已下載模型
ollama list
? 正常輸出結果如下:
-
其他指令
# 查詢模型信息 ollama show qwen2:0.5b# 刪除模型 ollama rm qwen2:0.5b
1.7.2、進階使用技巧
- API 調用
注意:python中有集成的ollama工具包,需Python 3.8及以上版本
- Install
pip install ollama
- Custom client 示例:
from ollama import Client
client = Client(host='http://localhost:11434'
)
response = client.chat(model='deepseek-r1:7b', messages=[{'role': 'user','content': 'strawberry 中有幾個r',},
])print(response['message']['content'])
更多API詳見:https://pypi.org/project/ollama
REST API詳見:https://github.com/ollama/ollama/blob/main/docs/api.md