1,筆記本電腦資源
我是一臺聯想筆記本電腦,基本配置如下:
CPU:12th Gen Intel(R) Core(TM) i7-1255U?? 1.70 GHz? (12核心,2個P核和8個E核,共計10個核心)
顯卡:NVIDIA GeForce MX550
內存:40.0 GB
操作系統:Windows 10 專業版
想初步評估下用LM studio下載一個本地大模型運行試試看。
2.下載LM studio及大模型參數
直接到LM的網站下載
LM Studio - Discover, download, and run local LLMs
之后直接安裝,安裝完成后,可以查看配置:
下載大模型參數:
如上,結果沒有出現大模型的列表,提示:
There was an error fetching results from Hugging Face, please try again in a little bit
這個應該是無法訪問?Hugging Face,直接瀏覽器訪問:huggingface.co
果然無法訪問,那應該是網絡屏蔽了, 科學上網試試,果然就可以了。
之后LM studio就可以看到大模型列表了,下載一個8B的deepseek的模型:
deepseek-r1-distill-llama-8b-abliterated
速度很快就下載完成。
3. 加載大模型
下載完成后,直接默認加載,加載部分后,提示錯誤:
Failed to load model
unable to allocate backend buffer
問大模型,告知可能原因:
- 內存不足
- 顯存不足
- 模型損壞
- 驅動或庫不匹配
- 軟件問題等
為了確保模型文件OK,再下載了一個模型:
deepseek-r1-distill-qwen-7b
完成后,選擇一個加載。
默認配置如下加載
加載到35%左右,會提示失敗:
這個一般是內存不足了(也有可能是模型數據有問題,但我是直接下載后執行的,不是拷貝過來的,而且下載了兩個模型都提示這個,所以應該就不是這個問題)。
修改下參數,如下:
之后就加載成功了,完成之后,可以提交問題。
4. 選擇大模型運行
對話框提交一個問題:
在此期間,內存基本保持4.5GB,在thinking問題時,CPU保持在33%左右。
回答問題的時間:
回答時間長,而且回答非常簡短,參考意義不大,同樣的問題提交給文心一言,3S內給出答案,比較全面,如下:
5.總結
我的筆記本資源還算可以,內存40G,獨立顯卡,12核CPU,這樣的配置部署一個本地7B的本地大模型,計算速度太慢了,資源占用也比較大,一個簡單問題,明顯CPU的風扇聲音就起來了,由此看出哪怕是小參數的大模型,對硬件要求也是很高的,顯存不大的電腦,還真運行不了。