huggingface上匯集了各個大模型和預訓練模型的權重文件,但是訪問huggingface需要連接外網,即時連接外網之后下載仍然過慢甚至會出現中斷,因此本文將使用兩種方法教你解決上述問題。
文章目錄
- 1.使用國內鏡像下載
- 2.使用Python腳本自動化下載
1.使用國內鏡像下載
使用國內huggingface鏡像:https://hf-mirror.com/。
huggingface建立了一個國內鏡像網站,可以通過搜索模型名字下載對應的權重文件。
例如,我想要下載Qwen2.5-Omni-7B的模型權重,可以在上圖的搜索框搜索該名字。
魔塔社區作為huggingface的平替開源社區,同樣集成了很多模型的權重文件。
https://www.modelscope.cn/home
2.使用Python腳本自動化下載
使用snapshot_download
庫從huggingface網站下載模型,下載過程中若出現中斷可以重新執行代碼,執行后則會繼續下載文件。repo_id
為你想下載的模型名稱。
import osos.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
from huggingface_hub import snapshot_download
snapshot_download(repo_id="Go4miii/DISC-FinLLM",repo_type="model",local_dir="J:/DISC-FinLLM/",resume_download=True)
from modelscope import snapshot_download
model_dir = snapshot_download(model_id='Qwen/Qwen2.5-VL-7B-Instruct', # 官方模型cache_dir='./test', # 可選:指定本地存儲路徑user_agent={'Use-Case': 'download'} # 推薦添加用戶標識
)
print(f"模型已下載至:{model_dir}")