文章目錄
- 前言
- 坑
- 后續
前言
大家都知道,使用huggingface導入大模型是使用如下辦法
from transformers import AutoModelForCausalLM, AutoTokenizermodel_name = "Qwen/Qwen2.5-7B-Instruct"#要導入的大模型名稱。model = AutoModelForCausalLM.from_pretrained(model_name,torch_dtype="auto",device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
我們將上述model_name換成gpt2-xl
也可以導入成功,但是換成meta-llama/Llama-3.1-8B-Instruct
就會失敗。因為llama系列的模型矯情,使用需要申請。
坑
在huggingface官網上https://huggingface.co/注冊一個賬號。這里會碰到第一個問題,那就是這個破網站在國內進去不。我自己是買了梯子的,你要是嫌貴不舍得,那沒辦法了,我自己覺得還行,基本上所有網站都可以訪問了。沒有梯子的話,github都要看運氣能不能訪問。
在網站上填寫好了注冊信息并且提交之后,記得查看郵件,需要在郵件里確認才算真正的注冊成功。
注冊好了之后,點擊那個models。
在搜索框輸入llama
發現會返回特別特別多的結果,我們找到我們想要的,常用的有那個第一個meta-llama/Llama-3.1-8B-Instruct
還有下面的meta-llama/Meta-Llama-3-8B-Instruct
。我們隨便選擇一個,我這里選擇第一個meta-llama/Llama-3.1-8B-Instruct
,點擊進去,進入下面界面。
上面界面大概是說,LLAMA系列的模型的使用是受限的,需要申請后使用,申請之后會給你一個類似密碼的東西。以后在python代碼里導入LLAMA模型的時候,密碼也要作為一個函數參數,才能導入模型成功。
在上面這個界面點擊那個藍色的字,滑到底部,可以看到一個申請表格,我們進行申請。
填寫好信息之后點擊提交,似乎信息不一定要完全真實。
提交之后,我們可以在網站右上角用戶那里查看申請狀態,
如下,我們發現還在等待狀態。
我沒過多久就被拒絕了,
回到那個meta-llama/Llama-3.1-8B-Instruct
界面,也發現那個紅色的字,
也就是說我的申請被拒絕了。
Your request to access this repo has been rejected by the repo’s authors.
這到底他媽的是怎么回事呢?我在網站https://huggingface.co/meta-llama/Llama-Guard-3-8B/discussions/13里面查看到,似乎中國和俄羅斯是被區別對待的,所以我們國家不要填寫中國。對于LLAMA系列模型的使用申請,很多人都失敗了,網上有一堆人吐槽的,比如https://huggingface.co/meta-llama/Meta-Llama-3-8B/discussions/124。
后面我又注冊了兩個賬號,還是失敗了。
第一次賬號填的是中國,名字是中國名字的拼音,所屬機構是亂寫的公司。
第二次賬號填的是加拿大,名字是外國名字,所屬機構是多倫多大學。
第三次賬號填的是香港,名字是中國名字的拼音(亂寫的中國名字,但是和賬號一致),所屬機構是香港大學。這次寫香港是因為我的那個梯子好像用的是香港的IP。
后續
已經轉向使用qwen模型了,咱國產的,不需要申請,也沒有國家地域歧視!不再使用llama!看了一下qwen下載量,比llama高多了,而且聽說性能也很好,越來越成為各家大模型對比時的基線模型。
上個月下載量1500萬,而下面的llama下載量500萬,被爆殺了。
家人們,大家都用qwen,勢必讓固步自封的llama付出代價。