什么是Ollama
Ollama是一個開源的大型語言模型服務工具，它幫助用戶快速的運行大模型。浪浪云將它做為一鍵部署通過簡單的安裝，用戶可以執行一條命令就可以運行開源大型語言模型，如 llama3 ,通以千問。極大地簡化了部署和管理LLM的過程，使得用戶能夠快速地在本地運行大型語言模型。
優點：通過服務器自身算力來運行大模型，無需再為API付費
缺點：非常消耗算力，低配置也就只能跑跑小模型
相關文檔
- Dify知識庫基于Casaos一鍵部署
- Dify知識庫接入微信
服務器推薦
推薦使用浪浪云服務器，省心 省時 省力 穩定且安全
效果演示
一鍵部署ollama
接入到Dify后，無需再為api付費
選擇這個最低配置就可以安裝
設置端口轉發訪問casaos
設置Ollama端口轉發
訪問casaos
打開應用商店
搜索安裝ollama
?
安裝大模型
選擇設置
點擊終端
下載千問大模型
ollama run qwen:1.8b
安裝成功
測試一下問個你好
可以看到可以回答問題了，但是使用界面不太好，現在將它接入到dify里面使用
現在將它接入到dify里面使用
打開dify 設置
找到模型供應商ollama
訪問ollama的api接口
添加千問大模型
可以看到添加模型成功
系統模型設置里的推理模型換為qwen1.8b
切換模型為qwen:1.8b
詢問一下看看效果如何，這就成功了
)
