小白windows系統從零開始本地部署大模型全記錄

大家好，最近兩年大語言模型風靡全球，最近，不少開源大模型，將模型部署到自己的電腦上，用個性化的數據微調想必是不少人的愿望，這次，讓我來分享從hugging face上下載部署chatglm3-6b中的經驗。

1.硬件準備

具體參考這條帖子: https://zhuanlan.zhihu.com/p/655948272

結論：一般RTX 3060 6GB顯卡是最小模型的門檻

補充“7B”指的是7億參數。大語言模型參數量是指模型中可調整的參數的數量，通常用來衡量模型的大小和復雜程度，一般參數量越大的模型性能越強。商業化的模型一般在10B-100B之間，chatgpt4 13.3B。

我的配置：（查看方法：聯想電腦管家，魯大師）

很勉強，為了照顧顯卡不行的小伙伴，這個帖子先用CPU進行部署

2.運算環境準備

2.1 安裝anaconda

什么？你還不知道anaconda是啥？Conda是一個開源的包、環境管理器，可以用于在同一個機器上安裝不同版本的軟件包及其依賴，并能夠在不同的環境之間切換。

網上已經有很多下載安裝教程，比如：https://blog.csdn.net/ABV09876543210/article/details/101194476

https://zhuanlan.zhihu.com/p/647523947

備注：現在最好python版本安裝到3.8或者3.9，版本過低后面安裝庫的時候庫的版本會過低。

我的報錯解析：

如果你已經安裝，但在cmd使用conda 卻報沒有此命令，可以看看是不是沒加入你的環境變量

如何配置環境變量？Win11方法在此: https://blog.csdn.net/weixin_46483785/article/details/131163456

2.2 配置軟件環境

用conda create -n env python==3.8 命令創建名為“env”的新虛擬環境，用activate env或者conda activate env進入新建的虛擬環境（前面會出現新環境的名字）

并在新虛擬環境中使用conda下載（下載方法在剛剛conda教程中有）transformers>=4.38.2（為啥是這個或者以上的版本？后面會考！），tensorflow和pytorch。Pytorch安裝比較麻煩，分為CPU版本和GPU版，具體教程看這里：https://www.jb51.net/python/302744e4p.htm

我是使用這個命令安裝CPU版的 #安裝pytorch conda install pytorch torchvision torchaudio cpuonly -c pytorch。使用conda list可以看見所有下載了的庫：

然后虛擬環境導入到jupyter中（這時要保證自己在新的環境中！） https://blog.csdn.net/m0_56075892/article/details/130005168 首先要確保環境中有ipykernel ipython 庫，沒有的話進行安裝

安裝ipykernel ipython

pip install ipykernel ipython

查看jupyter下面有多少個kernels

jupyter kernelspec list

ipython kernel install --user --name pytorch1.6(虛擬環境名字)

最后，進入jupyter notebook,將kernel 調整成對應的虛擬環境將驗證安裝好了的包

新建一個notebook文檔，然后輸入 import torch import transformers 如果沒有報錯說明你已經安裝好了。

3.下載大模型：

Hugging face官網是要科學上網滴：https://huggingface.co/ 在網站上chatglm3的官方下載方式是：from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained(“THUDM/chatglm3-6b”, trust_remote_code=True) model = AutoModel.from_pretrained(“THUDM/chatglm3-6b”, trust_remote_code=True).half().cuda()

按照它的代碼輸入，你就會報這個錯：

意思是：被墻了

這咋辦？解決方法：國內鏡像！https://hf-mirror.com/ https://aliendao.cn/#/ #我用的是這個

將所有文件下載到本地后，新建文件夾，命名，在本地加載 https://hf-mirror.com/

https://aliendao.cn/#/

例如，我將其放在這個文件夾下：

然后通過cd函數將工作路徑調整到models文件夾后，就可以導入模型了：

from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained(“THUDM/chatglm3-6b”, trust_remote_code=True) model = AutoModel.from_pretrained(“THUDM/chatglm3-6b”, trust_remote_code=True).half() model = model.eval()

response, history = model.chat(tokenizer, “你好”, history=[]) print(response) 出現這樣一句話說明你成功啦！你好!我是人工智能助手 ChatGLM-6B,很高興見到你,歡迎問我任何問題。

如果報錯：DLL load failed while importing _imaging: 找不到指定的模塊的解決方法是你安裝的庫的版本有問題，解決方法可以詳見這個帖子：https://blog.csdn.net/qq_45510888/article/details/121446878

4.更簡單,更快的部署方法：

一鍵下載安裝！一鍵本地部署！

教程：https://zhuanlan.zhihu.com/p/672400265

支持以下模型，缺點：沒有中文模型！：

這期到這里結束了，讀到這里你也發現，這個不是一個純粹的原創帖，更多是前人經驗的總結歸納和我在走前人教程中遇到的問題，希望對大家有幫助。

如何系統的去學習大模型LLM ？

作為一名熱心腸的互聯網老兵，我意識到有很多經驗和知識值得分享給大家，也可以通過我們的能力和經驗解答大家在人工智能學習中的很多困惑，所以在工作繁忙的情況下還是堅持各種整理和分享。

但苦于知識傳播途徑有限，很多互聯網行業朋友無法獲得正確的資料得到學習提升，故此將并將重要的 AI大模型資料 包括AI大模型入門學習思維導圖、精品AI大模型學習書籍手冊、視頻教程、實戰學習等錄播視頻免費分享出來。

所有資料 ?? ，朋友們如果有需要全套《LLM大模型入門+進階學習資源包》，掃碼獲取~

👉CSDN大禮包🎁：全網最全《LLM大模型入門+進階學習資源包》免費分享（安全鏈接，放心點擊）👈

一、全套AGI大模型學習路線

AI大模型時代的學習之旅：從基礎到前沿，掌握人工智能的核心技能！

二、640套AI大模型報告合集

這套包含640份報告的合集，涵蓋了AI大模型的理論研究、技術實現、行業應用等多個方面。無論您是科研人員、工程師，還是對AI大模型感興趣的愛好者，這套報告合集都將為您提供寶貴的信息和啟示。

三、AI大模型經典PDF籍

隨著人工智能技術的飛速發展，AI大模型已經成為了當今科技領域的一大熱點。這些大型預訓練模型，如GPT-3、BERT、XLNet等，以其強大的語言理解和生成能力，正在改變我們對人工智能的認識。那以下這些PDF籍就是非常不錯的學習資源。

在這里插入圖片描述

四、AI大模型商業化落地方案

階段1：AI大模型時代的基礎理解

目標：了解AI大模型的基本概念、發展歷程和核心原理。
內容：
- L1.1 人工智能簡述與大模型起源
- L1.2 大模型與通用人工智能
- L1.3 GPT模型的發展歷程
- L1.4 模型工程
  - L1.4.1 知識大模型
  - L1.4.2 生產大模型
  - L1.4.3 模型工程方法論
  - L1.4.4 模型工程實踐
- L1.5 GPT應用案例

階段2：AI大模型API應用開發工程

目標：掌握AI大模型API的使用和開發，以及相關的編程技能。
內容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具類框架
  - L2.1.4 代碼示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架應用現狀
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架與Thought
  - L2.2.5 Prompt框架與提示詞
- L2.3 流水線工程
  - L2.3.1 流水線工程的概念
  - L2.3.2 流水線工程的優點
  - L2.3.3 流水線工程的應用
- L2.4 總結與展望

階段3：AI大模型應用架構實踐

目標：深入理解AI大模型的應用架構，并能夠進行私有化部署。
內容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的設計理念
  - L3.1.2 Agent模型框架的核心組件
  - L3.1.3 Agent模型框架的實現細節
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的應用場景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特點
  - L3.3.2 ChatGLM的開發環境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特點
  - L3.4.2 LLAMA的開發環境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介紹