筆記本跑大模型嘗試

1,筆記本電腦資源

我是一臺聯想筆記本電腦,基本配置如下:

CPU:12th Gen Intel(R) Core(TM) i7-1255U?? 1.70 GHz? (12核心,2個P核和8個E核,共計10個核心)

顯卡:NVIDIA GeForce MX550

內存:40.0 GB

操作系統:Windows 10 專業版

想初步評估下用LM studio下載一個本地大模型運行試試看。

2.下載LM studio及大模型參數

直接到LM的網站下載

LM Studio - Discover, download, and run local LLMs

之后直接安裝,安裝完成后,可以查看配置:

下載大模型參數:

如上,結果沒有出現大模型的列表,提示:

There was an error fetching results from Hugging Face, please try again in a little bit

這個應該是無法訪問?Hugging Face,直接瀏覽器訪問:huggingface.co

果然無法訪問,那應該是網絡屏蔽了, 科學上網試試,果然就可以了。

之后LM studio就可以看到大模型列表了,下載一個8B的deepseek的模型:

deepseek-r1-distill-llama-8b-abliterated

速度很快就下載完成。

3. 加載大模型

下載完成后,直接默認加載,加載部分后,提示錯誤:

Failed to load model

unable to allocate backend buffer

問大模型,告知可能原因:

  1. 內存不足
  2. 顯存不足
  3. 模型損壞
  4. 驅動或庫不匹配
  5. 軟件問題等

為了確保模型文件OK,再下載了一個模型:

deepseek-r1-distill-qwen-7b

完成后,選擇一個加載。

默認配置如下加載

加載到35%左右,會提示失敗:

這個一般是內存不足了(也有可能是模型數據有問題,但我是直接下載后執行的,不是拷貝過來的,而且下載了兩個模型都提示這個,所以應該就不是這個問題)。

修改下參數,如下:

之后就加載成功了,完成之后,可以提交問題。

4. 選擇大模型運行

對話框提交一個問題:

在此期間,內存基本保持4.5GB,在thinking問題時,CPU保持在33%左右。

回答問題的時間:

回答時間長,而且回答非常簡短,參考意義不大,同樣的問題提交給文心一言,3S內給出答案,比較全面,如下:

5.總結

我的筆記本資源還算可以,內存40G,獨立顯卡,12核CPU,這樣的配置部署一個本地7B的本地大模型,計算速度太慢了,資源占用也比較大,一個簡單問題,明顯CPU的風扇聲音就起來了,由此看出哪怕是小參數的大模型,對硬件要求也是很高的,顯存不大的電腦,還真運行不了。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/67336.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/67336.shtml
英文地址,請注明出處:http://en.pswp.cn/web/67336.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

C語言實現掃雷游戲(有展開一片和標記雷的功能)

實現準備 分2個.c源文件和1個.h頭文件去寫代碼 test.c 對掃雷游戲進行測試game.c 掃雷游戲功能的實現game.h 掃雷游戲功能的聲明 掃雷游戲 1.test.c對掃雷游戲進行測試 首先我們要先把玩游戲的框架寫出來,然后一步一步去完成其功能 跟著下面的代碼的節奏走一步一步…

GitHub 倉庫的 Archived 功能詳解:中英雙語

GitHub 倉庫的 Archived 功能詳解 一、什么是 GitHub 倉庫的 “Archived” 功能? 在 GitHub 上,“Archived” 是一個專門用于標記倉庫狀態的功能。當倉庫被歸檔后,它變為只讀模式,所有的功能如提交代碼、創建 issue 和 pull req…

基礎IO(2)

基礎IO(2) 理解“?切皆?件” ?先,在windows中是?件的東西,它們在linux中也是?件;其次?些在windows中不是?件的東西,?如進程、磁盤、顯?器、鍵盤這樣硬件設備也被抽象成了?件,你可以使…

Transformation,Animation and Viewing

4 Transformation,Animation and Viewing 聲明:該代碼來自:Computer Graphics Through OpenGL From Theory to Experiments,僅用作學習參考 4.1 Modeling Transformations 平移、縮放和旋轉,即 OpenGL 的建模轉換&…

Deepseek的RL算法GRPO解讀

在本文中,我們將深入探討Deepseek采用的策略優化方法GRPO,并順帶介紹一些強化學習(Reinforcement Learning, RL)的基礎知識,包括PPO等關鍵概念。 策略函數(policy) 在強化學習中, a…

【python】python基于機器學習與數據分析的二手手機特性關聯與分類預測(源碼+數據集)【獨一無二】

👉博__主👈:米碼收割機 👉技__能👈:C/Python語言 👉專__注👈:專注主流機器人、人工智能等相關領域的開發、測試技術。 python基于機器學習與數據分析的二手手機特性關聯與…

手撕Diffusion系列 - 第十一期 - lora微調 - 基于Stable Diffusion(代碼)

手撕Diffusion系列 - 第十一期 - lora微調 - 基于Stable Diffusion(代碼) 目錄 手撕Diffusion系列 - 第十一期 - lora微調 - 基于Stable Diffusion(代碼)Stable Diffusion 原理圖Stable Diffusion的原理解釋Stable Diffusion 和Di…

前端【8】HTML+CSS+javascript實戰項目----實現一個簡單的待辦事項列表 (To-Do List)

目錄 一、功能需求 二、 HTML 三、CSS 四、js 1、綁定事件與初始設置 2.、綁定事項 (1)添加操作: (2)完成操作 (3)刪除操作 (4)修改操作 3、完整js代碼 總結…

C++標準線程庫實現優雅退出的方式

目錄 1.通過設置共享退出標記 2.使用std::jthread創建線程 3.定義消息類型的方式 4.注意事項 1.通過設置共享退出標記 定義一個退出變量bool stop false; 表示線程是否應該停止。在主線程中設置標記stoptrue,然后join一直等待,然后線程循環檢測到stop是否為tru…

Java學習教程,從入門到精通,JDBC插入記錄語法及案例(104)

JDBC插入記錄語法及案例 一、JDBC插入記錄語法 在JDBC中,插入記錄主要通過執行SQL的INSERT語句來實現。其基本語法如下: INSERT INTO 表名 (列1, 列2, ..., 列n) VALUES (值1, 值2, ..., 值n);表名:需要插入記錄的表的名稱。列1, 列2, …,…

vue事件總線(原理、優缺點)

目錄 一、原理二、使用方法三、優缺點優點缺點 四、使用注意事項具體代碼參考: 一、原理 在Vue中,事件總線(Event Bus)是一種可實現任意組件間通信的通信方式。 要實現這個功能必須滿足兩點要求: (1&#…

圖像處理之HSV顏色空間

目錄 1 RGB 的局限性 2 HSV 顏色空間 3 RGB與HSV相互轉換 4 HSV顏色模型對圖像的色相、飽和度和明度進行調節 5 演示Demo 5.1 開發環境 5.2 功能介紹 5.3 下載地址 參考 1 RGB 的局限性 RGB 是我們接觸最多的顏色空間,由三個通道表示一幅圖像,分…

DeepSeek是由杭州深度求索人工智能基礎技術研究有限公司(簡稱“深度求索”)發布的一系列人工智能模型

DeepSeek是由杭州深度求索人工智能基礎技術研究有限公司(簡稱“深度求索”)發布的一系列人工智能模型,其在知識類任務上展現出了卓越的性能。以下是對DeepSeek的詳細介紹,內容雖無法達到10000字,但會盡可能全面且深入地…

【C++高并發服務器WebServer】-9:多線程開發

本文目錄 一、線程概述1.1 線程和進程的區別1.2 線程之間共享和非共享資源1.3 NPTL 二、線程操作2.1 pthread_create2.2 pthread_exit2.3 pthread_join2.4 pthread_detach2.5 patch_cancel2.6 pthread_attr 三、實戰demo四、線程同步五、死鎖六、讀寫鎖七、生產消費者模型 一、…

14-6-1C++STL的list

(一)list容器的基本概念 list容器簡介: 1.list是一個雙向鏈表容器,可高效地進行插入刪除元素 2.list不可以隨機存取元素,所以不支持at.(pos)函數與[ ]操作符 (二)list容器頭部和尾部的操作 list對象的默…

在sortablejs的拖拽排序情況下阻止input拖拽事件

如題 問題 在vue3的elementPlus的table中,通過sortablejs添加了行拖拽功能,但是在行內會有輸入框,此時拖拽輸入框會觸發sortablejs的拖拽功能 解決 基于這個現象,我懷疑是由于拖拽事件未綁定而冒泡到后面的行上從而導致的拖拽…

21.Word:小趙-畢業論文排版?【39】

目錄 題目? NO1.2 NO3.4 NO5.6 NO7.8.9 NO10.11.12 題目 NO1.2 自己的論文當中接收老師的修改:審閱→比較→源文檔:考生文件夾:Word.docx→修訂的文檔:考生文件夾:教師修改→確定→接收→接收所有修訂將合并之…

leetcode_鏈表 876.鏈表的中間節點

876.鏈表的中間節點 給你單鏈表的頭結點 head ,請你找出并返回鏈表的中間結點。如果有兩個中間結點,則返回第二個中間結點。思路:快慢指針,創建兩個指針fast和slow,fast指針每次移動兩步,slow指針每次移動…

深度學習 DAY3:NLP發展史及早期的前饋神經網絡(ANN)及多任務學習

NLP發展史 NLP發展脈絡簡要梳理如下: 2001 - Neural language models(神經語言模型) 2008 - Multi-task learning(多任務學習) 2013 - Word embeddings(詞嵌入) 2013 - Neural networks for NL…

全面了解 Web3 AIGC 和 AI Agent 的創新先鋒 MelodAI

不管是在傳統領域還是 Crypto,AI 都是公認的最有前景的賽道。隨著數字內容需求的爆炸式增長和技術的快速迭代,Web3 AIGC(AI生成內容)和 AI Agent(人工智能代理)正成為兩大關鍵賽道。 AIGC 通過 AI 技術生成…