DeepSeek 多模態大模型 Janus-Pro 本地部署教程

下載模型倉庫

git clone https://github.com/deepseek-ai/Janus.git

國內下載倉庫失敗時，可以使用以下代理：

git clone https://github.moeyy.xyz/https://github.com/deepseek-ai/Janus.git

準備 Conda 3.12 虛擬環境

conda create --name deepseek7B python=3.12conda activate deepseek7B

Janus 安裝基礎依賴

cd Janus# 安裝基礎依賴
pip install -e .# 安裝 gradio ui 界面
pip install gradio# 啟動帶有gradio的ui界面，同時下載14GB+的大模型
python demo/app_januspro.py

啟動成功后,在瀏覽器里輸入：http://127.0.0.1:7860，即可訪問 Gradio 頁面。

下載模型時，如果你的服務器無法訪問模型地址 huggingface.co，則可以用 modelscope

使用 modelscope 下載模型

官網：https://modelscope.cn/

pip install modelscopemodelscope download --model deepseek-ai/Janus-Pro-7B

默認模型會下載到~/.cache/modelscope/hub目錄下，指定 local_dir 可以選擇本地下載路徑

modelscope download --model deepseek-ai/Janus-Pro-7B --local_dir 'path/to/dir'

打開 ./demo/app_januspro.py 文件，并在15行處，修改為當前本地模型下載地址路徑

接著就可以啟動服務：python demo/app_januspro.py

修改 gradio 地址或端口

打開 ./demo/app_januspro.py 文件，在244行處，進行修改

在這里設置 server_name='0.0.0.0' 以便從任何 IP 訪問

demo.launch(share=True, server_name='0.0.0.0', server_port=7860)