前言
上回咱說道,如果你沒辦法訪問huggingface.co,則可以把modelscope作為vllm默認的下載源。
但如果你非得用你用不了的huggingface.co呢?那你可以考慮將hf-mirror.com作為vllm默認的下載源。這里,hf-mirror.com和huggingface.co的效果是一樣的。
要將hf-mirror.com設為vLLM的默認下載源,可通過以下三種方式實現:
- 全局環境變量配置
在終端執行:
export HF_ENDPOINT=https://hf-mirror.com
此設置對所有基于Hugging Face庫的下載生效,包括vLLM。建議將此命令寫入~/.bashrc
或~/.zshrc
實現永久生效。
- 臨時會話配置
在運行vLLM命令前添加變量: