目錄

第一步：啟動ollama

第二步：啟動dify

第三步：配置模型（截圖）

---

最近llama3很火，本文追擊熱點，做一個本地化部署的嘗試，結果還成功了！

當然也是站在別人的肩膀上，文章最后有具體的參考文章，由于他們都是單獨講各自的部署，這里進行了整合。也就是說，如果你想本地化部署llama3大模型，本文是一套完整的部署方案。

第一步：啟動ollama

ollama是可以本地部署的模型，其他模型，大多需要key才能進行連接。并不能做到本地化部署，而ollama作為輕量級，可本地化部署的模型，就是我們當下最好的選擇了。

安裝ollama很簡單，只要你安裝了docker，一條命令就可以了。

docker pull ollama/ollamadocker run -d -v? $PWD/ollama:/root/.ollama -p 11434:11434 \--name ollama ollama/ollama?docker exec -it ollama /bin/bashollama run llama3

安裝成功并且run以后，就可以看到下面的提示符，說明模型已經部署成功了！?

需要注意的是：

如果已啟動過，需要刪除原有的容器，當你再次重啟以后，這個容器是不會自動運行的，需要手動，如下代碼。當然也可以采用docker compose的方式，這里就偷懶了。

docker restart ollamadocker exec -it ollama /bin/bashollama run llama3

還有一種方法就是把容器刪除，重新啟動，浪費時間就不推薦了。

docker rm 容器名稱

第二步：啟動dify

第一步完成以后，后面就是安裝dify框架了，dify的介紹和功能，在下面的參考文章中都有，有興趣可以去看看，這里就不多說了，直接上代碼。

git clone https://github.com/langgenius/dify.gitcd /dify/dockerdocker-compose up -d

當dify安裝成功以后，首先要進行管理員配置，傻瓜式操作。

需要注意的是，當你添加新用戶的時候，是采用邀請的方式，并不能直接設定用戶的密碼，這一點與其他平臺有點兒不同。?

第三步：配置模型（截圖）

最后一步是在dify里配置ollama模型，如下圖：?

如果能夠保存成功，就大功告成了！

需要注意的是，本文采用的是純CPU模式，如果要上生產，還是要用到GPU的，否則生成回答的時候，會很慢很卡。

?

參考文章：

58k+star！ollama快速部署llama3大模型 - 大模型知識庫|大模型訓練|開箱即用的企業大模型應用平臺|智能體開發|53AI

內網穿透的應用-如何使用Docker本地部署Dify LLM結合內網穿透實現公網訪問本地開發平臺_difydocker部署-CSDN博客

接入 Ollama 部署的本地模型 | 中文 | Dify