很久沒有更新文章了,最近正好需要研究一些機器學習的東西,打算研究一下
- dify
- Ollama
以下是基于FN 的dify本地化部署,當然這也可能是全網唯一的飛牛部署dify手冊
部署
官方手冊:https://docs.dify.ai/en/getting-started/install-self-hosted/docker-compose
采用docker-compose方式部署
- 確保FN啟動22端口(系統設置-SSH-右側藍色開啟)
- 根據官方網站https://docs.dify.ai/en/getting-started/install-self-hosted/docker-compose,docker compose up -d 啟動容器,新手遇到權限不足的報錯,記得在docker 前加sudo
- 根據doc訪問,http://localhost/install
Tips:FN會默認占用80 443,在開始前可以(系統設置-安全性-端口設置-高級設置中取消80 443的重定向)
-
FN 應用商店 Ollama下載
-
dify 設置 模型供應商添加Ollama,模型類型LLM, 模型名稱:DeepSeek-R1-Distill-Qwen-1.5B(Ollma 設置-模型),基礎URL http://192.168.xx.xx:11435(切記不要使用127與localhost)
-
開始使用
Tips:有一些其他途徑(如SSH部署或者docker部署,這里有一些連接問題的r&q https://docs.dify.ai/en/development/models-integration/ollama#faq
默認deepseek的模型還是太大了,換了阿里的qwen:0.5b