1、環境部署
安裝Anaconda3
安裝GIT
安裝GUDA 11.8
安裝NVIDIA 圖形化驅動 522.25版本,如果電腦本身是更高版本則不用更新
1.1、檢查CUDA
運行cmd或者Anaconda,運行以下命令
nvidia-smi
?CUDA Version是版本信息,Dricer Version是圖形化驅動版本
安裝?python-3.8
安裝Pytorch,用Anaconda,運行以下命令
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
1.2、檢查Pytorch
新建文件pytorch.py
import torchprint(torch.__version__)
print(torch.version.cuda)
運行效果如下,cu118對應CUDA11.8版本?
安裝依賴,用Anaconda,運行以下命令
pip3 install -r requirements.txt
2、ChatGLM2下載
用Anaconda,運行以下命令,如果想要下載指定文件夾,用cd切換
git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B
?以下是執行效果,下載到C:\Users\cteate\ChatGLM2-6B
?
3、運行ChatGLM2
3.1運行web示例
運行web_demo.py
?第一次執行會下載模型文件,下載到C:\Users\用戶名\.cache\huggingface\hub下
PS:如果運行下載中斷,可以多運行幾次
運行成功后,界面:
3.2運行API
安裝依賴,cd 轉到ChatGLM文件夾(如:cd E:\ChatGLM2-6B-main),再用Anaconda,運行以下命令
pip install fastapi uvicorn
再運行以下命令:
python api.py
啟動后效果:
用PostMan測試
?
?