環境：

云服務器Ubuntu

NVIDIA H20 96GB

Qwen2.5-VL-32B

Qwen2.5-VL-72B

問題描述：

如何在本地部署魔搭上千問Qwen2.5-VL-32B-Instruct-AWQ模型在顯卡1上面運行推理，并開啟api服務

解決方案：

1.環境準備

硬件要求

• 顯卡1（顯存需≥48GB，推薦≥64GB）
• CUDA 11.7或更高版本
• Python 3.8+

2.軟件依賴

設置清華conda鏡像

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https