一、拉取鏡像

docker pull xprobe/xinference:latest

二、啟動容器（GPU）

docker run -d --name xinference -e XINFERENCE_MODEL_SRC=modelscope -p 9997:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0

# 啟動一個新的Docker容器
docker run
# 以分離（后臺）模式運行容器
-d
# 將容器命名為"xinference"
--name xinference
# 設置環境變量，指定Xinference的主目錄為容器內的
-e XINFERENCE_MODEL_SRC=modelscope 
# 將容器的9997端口映射到主機的9997端口
-p 9997:9997
# 允許容器使用主機上的所有GPU資源
--gpus all 
# 使用最新版本的xprobe/xinference鏡像
xprobe/xinference:latest 
# 在容器內運行xinference-local命令，并設置主機地址為0.0.0.0（允許從任何IP地址訪問）
xinference-local -H 0.0.0.0

三、訪問

網址：http://localhost:9997

參考鏈接：

Docker 鏡像 — Xinference

本地如何使用docker部署和使用Xinference_xinference docker部署-CSDN博客

Xinference本地直接安裝、打開、部署、測試模型、api調用_xinference本地部署-CSDN博客

DeepSeek+Ollama+Xinference+RAGFlow+Dify部署教程，RAG落地5件套！