本文不生產技術，只做技術的搬運工！！

前言

        公開的Qwen2.5-VL模型雖然功能非常強大，但有時面對專業垂直領域的問題往往會出現一些莫名其妙的回復，這時候大家一版選擇對模型進行微調，而微調后的模型如果直接部署則顯存開銷過大，這時就需要執行量化，下面將介紹執行本地GPTQ量化的具體流程。

ms-swift

        由于作者沒有找到AutoGPTQ框架下進行Qwen2.5-VL的量化教程，所以干脆偷懶，使用ms-swift進行量化

這里安裝完成后還需要補充一下安裝

pip install qwen_vl_utils
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0

執行量化

CUDA_VISIBLE_DEVICES=0,1,2,3 \
swift export \--model /data/qwen2.5-vl-32b/ \--dataset 'AI-ModelScope/alpaca-gpt4-data-zh#500' \