在第三步手動安裝chatglm2-6b時，已經可以通過web進行交互。langchain重新封裝了一下AI框架，提供更加友好的開發功能，類似于AI屆的spring框架。langchain的安裝過程也類似于上一步說的：【AI基礎】第三步：純天然手動安裝并運行chatglm2-6b-CSDN博客。

此系列文章列表：

【AI基礎】第一步：安裝python開發環境-windows篇_下載安裝ai環境python-CSDN博客

【AI基礎】第一步：安裝python開發環境-conda篇_minicode怎么換虛擬環境-CSDN博客

【AI基礎】第二步：安裝AI運行環境-CSDN博客

【AI基礎】第三步：純天然手動安裝并運行chatglm2-6b-CSDN博客

【AI基礎】第四步：保姆喂飯級-langchain+chatglm2-6b+m3e-base-CSDN博客

一、安裝miniconda

參考?【AI基礎】第一步：安裝python開發環境-conda篇_minicode怎么換虛擬環境-CSDN博客

二、安裝CUDA、cuDNN和pyTorch

參考?【AI基礎】第二步：安裝AI運行環境-CSDN博客

三、安裝langchain

3.1 創建python運行環境

> conda create --name langchain python=3.11
> conda activate langchain

?目前推薦使用python 3.11版本。

3.2 拉取Langchain代碼

# 拉取最新代碼
> git clone https://github.com/chatchat-space/Langchain-Chatchat.git# 拉取指定版本
> git clone -b v0.2.10 https://github.com/chatchat-space/Langchain-Chatchat.git

這里指定v0.2.10版本。

?3.3 安裝依賴

# 進入項目目錄
> cd Langchain-Chatchat
# 安裝全部依賴，并使用清華源
> pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

安裝完成：

3.4 下載模型

這里使用大模型chatglm2-6b和嵌入模型 M3e-base。

3.4.1 大模型chatglm2-6b下載地址：?

??????【AI基礎】第三步：純天然手動安裝并運行chatglm2-6b-下載大模型文件-CSDN博客

3.4.2 嵌入模型M3e-base下載地址：

• huggingface地址：https://huggingface.co/moka-ai/m3e-base
• 國內百度飛漿地址：?中文文本嵌入模型m3e-base_數據集-飛槳AI Studio星河社區

以百度飛漿為例：

下載后解壓m3e-base.zip，和另外兩個文件放在同一個文件夾，最終結果如下：

?3.5 修改配置文件

3.5.1 初始化配置文件

執行命令

# 此命令負值配置文件，并移除后綴 example
> python copy_config_example.py

3.5.2 修改model_config.py

3.5.2.1 修改大模型地址

MODEL_PATH = {
? ? "llm_model": {
? ? ? ? "chatglm2-6b": "d:\\ai\\llms\\chatglm2-6b",
? ? ? ? "chatglm2-6b-32k": "THUDM/chatglm2-6b-32k",
? ? ? ? ...
? ? }
}

3.5.2.2 修改嵌入模型地址

MODEL_PATH = {
? ? "embed_model": {
? ? ? ? ...
? ? ? ? "m3e-base": "E:\\llm_models\\m3e-base",
? ? ? ? "m3e-large": "moka-ai/m3e-large",
? ? ? ? ...
? ? }
}

?3.5.2.3 配置使用的大模型及運行設備

# LLM 名稱
LLM_MODELS = ["chatglm2-6b"]
?
# LLM 運行設備。設為"auto"會自動檢測，也可手動設定為"cuda","mps","cpu"其中之一。
LLM_DEVICE = "cuda"

3.5.2.4 配置使用的嵌入模型及運行設備

# 選用的 Embedding 名稱
EMBEDDING_MODEL = "m3e-base"

# Embedding 模型運行設備。設為"auto"會自動檢測(會有警告)，也可手動設定為"cuda","mps","cpu","xpu"其中之一。
EMBEDDING_DEVICE = "cuda"

3.6 初始化向量庫

3.6.1 修復代碼

在v0.2.10版本中，初始化向量庫時調用了pwd模塊，此模塊只在linux系統存在，如果在windows下運行會提示錯誤：

所以這里需要模擬一個pwd模塊，在conda的當前環境的lib目錄下新建pwd.py：

文件內容：

from os import *
from pwd import *
def get_username():return getpwuid(getuid())[0]

?3.6.2 初始化向量庫

> python init_database.py --recreate-vs

運行結果：

四、運行檢驗

4.1 運行

> python startup.py -a

運行結果：?

運行成功：?

?4.2 瀏覽器訪問

默認會打開瀏覽器并訪問 http://127.0.0.1:8501：

?五、參考

GitHub - Langchain-Chatchat（原Langchain-ChatGLM）