前提

• 安裝好了docker
• 安裝好了NVIDIA
• 顯卡16G

下載安裝包

網盤地址

? 這里因為網盤上傳文件有大小限制，所以使用了分卷壓縮的方式進行了上傳，全部下載下來就可以。

鏈接：https://pan.baidu.com/s/1wY3QqaWrMyBR39d2ZhN_Kg?pwd=9zdd 
提取碼：9zdd

將下載好的鏡像文件和代碼模型文件上傳到服務器上，并進行解壓，然后在該目錄進行操作。

開始安裝

加載鏡像

docker load -i chatglm3-6b.tar

啟動鏡像

docker run -itd --name chatglm3 -v `pwd`/ChatGLM3:/data \
--gpus=all -e NVIDIA_DRIVER_CAPABILITIES=compute,utility -e NVIDIA_VISIBLE_DEVICES=all \
-p 8501:8501 -p 8000:8000 chatglm3-6b:1.1

進入容器

docker exec -it chatglm3 bash

啟動模型交互頁面

cd /data 
streamlit run basic_demo/web_demo2.py

訪問頁面地址

http://10.22.2.18:8501/