【GPT入門】第45課 無梯子,下載huggingface模型方法
- 1.下載模型代碼
- 2. linux 設置鏡像與加速
- 3.windows
1.下載模型代碼
from transformers import AutoModelForCausalLM, BertTokenizer, BertForSequenceClassificationmodel_dir = '/root/autodl-tmp/model_hf'# 加載模型和分詞器
model = BertForSequenceClassification.from_pretrained('bert-base-chinese', cache_dir=model_dir)tokenizer = BertTokenizer.from_pretrained('bert-base-chinese',cache_dir=model_dir)print(model)
2. linux 設置鏡像與加速
設置國內鏡像
export HF_ENDPOINT=https://hf-mirror.com
autodl的學術加速
source /etc/network_turbo
3.windows
按下 Win + R 鍵,輸入 sysdm.cpl 并回車,打開 “系統屬性” 窗口
切換到 “高級” 選項卡,點擊 “環境變量” 按鈕
在 “用戶變量” 或 “系統變量” 區域(用戶變量僅對當前用戶有效,系統變量對所有用戶有效):
點擊 “新建” 按鈕
在 “變量名” 中輸入:HF_ENDPOINT
在 “變量值” 中輸入:https://hf-mirror.com
點擊 “確定” 保存
關閉所有已打開的命令行窗口,重新打開后環境變量即可生效
設置完成后,可以在命令行中輸入以下命令驗證是否配置成功: