1. 下載ollama ,官網 下載地址:Download Ollama on macOS,選擇 Window
下載完成后,可在終端 使用?ollama --version
2. 下載 本地大模型,這里下載deepseek r1 7b
3.下載Embed模型
Embed模型 是文本工具向量化的核心工具
可在這里https://huggingface.co/spaces/mteb/leaderboard?,查看各個Embed 模型的排名
ollama? pull bge-m3
4.最難的就是配置docker
https://github.com/langgenius/dify
進入 github 下載源碼
在項目根目錄下,復制.env.example文件并重命名為.env
并修改以下配置
規定了每次上傳大小限制
修改之后,
進入docker 文件夾下,使用cmd 命令,
然后
docker-compose down
docker-compose up -d
這個時候,可能會報錯,具體可參考基于windows 使用 Docker 本地化部署Dify_windows docker dify-CSDN博客
如:
Error response from daemon: Get "https://registry-1.docker.io/v2/": dialing registry-1.docker.io:443 container via direct connection because static system has no HTTPS proxy: connecting to registry-1.docker.io:443: dial tcp 162.220.12.226:443: connectex: No connection could be made because the target machine actively refused it.
可在docker 配置中修改鏡像源
5. 搭建RAG 知識庫
分別添加大模型和向量化模型,
然后·上傳本地知識庫
檢索方式可選擇混合檢索
但好像 Dify 不支持 Rerank 模型
然后就可以在工作室中創建自己的應用了
最后可正常使用