要設置HuggingFace Hub的國內鏡像,你可以按照以下步驟進行操作,以確保從國內鏡像站點下載Hugging Face模型和數據集。
1. 安裝依賴
首先,確保你已經安裝了huggingface_hub
庫。如果沒有,可以通過pip進行安裝:
bash復制代碼
pip install -U huggingface_hub |
2. 設置環境變量
永久設置(推薦)
對于Linux或macOS系統,你可以在.bashrc
、.bash_profile
、.zshrc
等shell配置文件中添加以下行來永久設置環境變量:
bash復制代碼
export HF_ENDPOINT=https://hf-mirror.com |
然后,你需要使這些更改生效:
bash復制代碼
source ~/.bashrc # 或者 source ~/.bash_profile, source ~/.zshrc 等 |
對于Windows系統,你可以通過“系統屬性”中的“環境變量”來設置HF_ENDPOINT
環境變量。
臨時設置
如果你只想在當前終端會話中設置環境變量,可以直接在命令行中輸入:
對于Linux或macOS:
bash復制代碼
export HF_ENDPOINT=https://hf-mirror.com |
對于Windows(PowerShell):
powershell復制代碼
$env:HF_ENDPOINT = "https://hf-mirror.com" |
3. 使用Hugging Face CLI工具下載模型和數據集
一旦設置了環境變量,你就可以使用Hugging Face CLI工具來下載模型和數據集了。例如:
bash復制代碼
huggingface-cli download --resume-download --local-dir gpt2 gpt2 |
這條命令將會從國內鏡像站點下載GPT-2模型,并將其保存在本地的gpt2
目錄中。
4. (可選)設置訪問令牌(Token)
對于某些受限訪問的模型,你可能需要提供Hugging Face賬戶的訪問令牌(Token)才能下載。你可以在Hugging Face官網的個人設置中找到這個Token,并將其添加到你的Python腳本或環境變量中。但是,請注意,這通常不是必需的,除非你正在嘗試下載受限的模型。
5. 注意事項
- 確保你的網絡連接正常,以便從國內鏡像站點成功下載內容。
- 如果你在使用虛擬環境,確保在相應的虛擬環境中安裝
huggingface_hub
庫并設置環境變量。 - 如果你在腳本中設置環境變量,請確保在導入任何Hugging Face庫之前設置它。
- 如果你遇到任何問題或錯誤消息,請查閱Hugging Face官方文檔或社區論壇以獲取更多幫助。