1.部署

1.首先去github下載chatglm3代碼。Huggingface下載模型一直失敗，所以用阿里的魔塔社區下載。

git clone https://github.com/THUDM/ChatGLM3.git
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

2.創建虛擬環境并運行

conda create -n glm3 python=3.10
conda activate glm3
pip install -r requirements.txt -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia#避免之后的錯誤，torch還是去官網下載自己cuda版本的（我的是12.2）

2.使用

這里我主要試試代碼解釋器Code Interpreter。
1.使用 Code Interpreter 還需要安裝 Jupyter 內核，所以

conda install ipykernel
conda install jupyter
python -m ipykernel install --name “環境名稱” --display-name "環境的顯示名稱"#新創建的python環境寫入Jupyter的kernel中
jupyter kernelspec list#查看已添加至Jupyter內核中的環境列表
jupyter kernelspec remove “環境名稱”#刪除已添加至Jupyter內核中的環境

2.定義模型文件地址

set MODEL_PATH=D:/ChatGLM3-main/model/chatglm3-6b
echo %MODEL_PATH%
set IPYKERNEL=glm3#自定義 Jupyter 內核用glm3環境配置的jupyter

3.運行官網的示例

cd D:\ChatGLM3-main\composite_demo
streamlit run main.py

4.效果
這里我踩的一個坑是沒有自定義jupyter內核用glm3環境設置的，所以一直是有代碼沒圖像。

3.接入微信

修改https://github.com/zhayujie/chatgpt-on-wechat項目，模型地址換成本地的glm3，運行app文件即可，這里主要是環境的問題配了好久，之后會把環境文件導出附上。

4.vue前端

利用https://github.com/LemonQu-GIT/ChatGLM-6B-Engineering項目，這里面有連接互聯網，查詢天氣和思維導圖等很多功能，這里面遇到的問題是把前端vue里的process.env.VUE_APP_API替換成"http://127.0.0.1:8000"，前端是8080端口；
api用的8000端口，所以在front_end.py最后一行改為uvicorn.run(app, host="0.0.0.0", port=8000)
然后后端模型用的8001端口；所以后端工程里面的config文件里面修改：

"API_host": "http://0.0.0.0",
"model": "D:/ChatGLM3_main/model/chatglm3_6b",
"port": 8001,
"host": "http://127.0.0.1"

然后還有一個問題是requests異步訪問有問題，所以用了httpx，修改front_end.py里面的@app.get(“/api/chat”)

url = f"{get_config()['basic']['host']}:{get_config()['basic']['port']}/stream"
async with httpx.AsyncClient() as client:try:response = await client.post(url, json=payload, timeout=30)async for chunk in response.aiter_text():await asyncio.sleep(0.1)yield chunk# 處理正常響應except httpx.ReadTimeout:# 處理超時異常，可以進行重試或返回適當的錯誤消息print("Request timed out. Please try again.")
return StreamingResponse(chat(prompt), media_type="text/event-stream")

最后運行文件

npm run dev#運行前端vue
python api.py#運行后端模型的chat接口
python front_end.py#運行后端和前端連接的api接口

效果如下：