1 概述
1.1 配置參考圖
科普:
B,Billion(十億),是 “參數量” 的單位。
模型量超過 一億,可稱之為 “大模型”。
2 軟件安裝
2.1 下載 Ollama
- 官方主頁:https://ollama.com/download
- 主頁截圖:
2.1.1 修改默認安裝路徑
- 等待瀏覽器下載文件
"OllamaSetup.exe"
,請注意,默認安裝 C 盤,建議修改,如:安裝至"D:\04 工具\DeepSeek\ollama"
> cd [ollamaSetup.exe 所在位置]
>
> ollamaSetup.exe /DIR="D:\04 工具\DeepSeek\ollama"
- 下載完成之后,通過快捷鍵
Win + R
,打開運行窗口,輸入查詢版本命令(如下),若有以下提示,則表示安裝成功。
> ollama -v
2.1.2 修改環境變量
- 若想其他電腦也能遠程訪問 DeepSeek,就需要修改下列環境變量。
- 使用場景:將 DeepSeek 部署至本地服務器上,然后通過 PC 去訪問。
變量 | 值 | 說明 |
---|---|---|
OLLAMA_HOST | 0.0.0.0 | ollama 服務器監聽的網絡地址 |
OLLAMA_ORIGINS | * | 客戶端的請求來源 |
OLLAMA_MODELS | D:\04 工具\DeepSeek\models | DeepSeek 安裝位置 |
… | … | 以下選項 |
OLLAMA_NUM_PARALLEL | 1 | 表示請求處理的并發數量,默認 1 |
OLLAMA_KEEP_ALIVE | 5m | 表示大模型加載到內存中后的存活時間,默認 5m,即 5 分鐘。若想一直存在,可設置為 24h,提供訪問速度 |
2.2 下載 DeepSeek
- 下載指定版本的 DeepSeek,如
14b
> ollama run deepseek-r1:14b
圖片是deepseek-r1:32 版本,14b 版本同理,此處僅展示下載的效果
2.3 運行 DeepSeek
- 和下載 DeepSeek 的命令相同(存在 → 運行,不存在 → 下載)
> ollama run deepseek-r1:14b