前言
DeepSeek是近年來備受關注的大模型之一,支持多種推理和微調場景。很多開發者希望在本地部署DeepSeek模型,并通過WebUI進行可視化交互。本文將詳細介紹如何在本地環境下部署DeepSeek,并實現WebUI可視化,包括Ollama和CherryStudio的使用方法。
一、環境準備
1. 硬件要求
- 推薦NVIDIA顯卡,顯存16GB及以上(如A100、3090等)
- 至少50GB磁盤空間
2. 軟件要求
- 操作系統:Linux或macOS(Windows建議使用WSL2)
- Python 3.8及以上
- CUDA 11.7及以上(如需GPU加速)
- pip最新版
二、安裝依賴
# 更新pip
pip install --upgrade pip# 安裝PyTorch(根據你的CUDA版本選擇)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117# 安裝DeepSeek相關依賴
pip install deepseek
三、下載DeepSeek模型
你可以通過HuggingFace或DeepSeek官方倉庫下載模型權重。例如:
# 以DeepSeek LLM為例
git clone https://huggingface.co/deepseek-ai/deepseek-llm-7b-base
或者使用transformers庫直接加載:
from transformers import AutoModelForCausalLM, AutoTokenizermodel_name = "deepseek-ai/deepseek-llm-7b-base"
tokenizer = AutoTokenizer