? ? 目前NV和github都托管了DeepSeek,生成Key后可以很方便的用CodeGPT接入。CodeGPT有三種方式使用AI,分別時Agents,Local LLMs(本地部署AI大模型),LLMs Cloud Model(云端大模型,從你自己賬號設置中把key拷貝過來就行)
? ? ?我們使用Ollama管理本地部署的大模型,到?Ollama?官方網站下載Ollama。在Ollama網站山更可以搜索它支持的模型,
點擊我們要部署的deepseek-coder-v2, 根據你的需要選擇適當參數的ds模型,在右邊就有生成對應的ollama安裝命令,復制后到本地命令行運行即可安裝。例如:
ollama run deepseek-coder-v2:16b? ?ollama run deepseek-coder-v2:236b
? ?也可以在VSCode的CodeGPT插件中安裝對應模型,更加的省事,直接選擇點擊下載即可。
下載完成后,在命令用命令啟動你的本地大模型,啟動時間需要一點,直到按回車出現 >>>,大模型就啟動成功了。這時候你可以敲個問題給大模型,能回到就說明部署成功。
也可以用OpenWebUI這個python插件,來通過web使用。
安裝: pip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple
(有人反饋,沒有安裝msbuil的話,安裝 open webui可能會報錯,可以先安裝?Microsoft C++ 生成工具 - Visual Studio? ,如果你是開發者就沒這個問題)
安裝完成后啟動 openwebui服務,open-webui serve
之后就用瀏覽器鏈接?http://localhost:8080/?
如果連接有問題,那么注意一下防火墻,開放一下8080端口即可。
? ? 接下來配置CodeGPT的 Local LLMS,如果你沒有安裝它會推薦一些本地大模型給你(Recommend Models 見上圖),如果你已經有安裝了那么顯示的時Installed Models(見下圖)
選擇已經本地部署的大模型后,無需在Connect to Ollama里填入Ollama的地址,也不用去點擊
Connect. 否則CodeGTP會報 Error Model Not found。 Status 404。沒仔細研究,
? ??