目錄
第一步:啟動ollama
第二步:啟動dify
第三步:配置模型(截圖)
最近llama3很火,本文追擊熱點,做一個本地化部署的嘗試,結果還成功了!
當然也是站在別人的肩膀上,文章最后有具體的參考文章,由于他們都是單獨講各自的部署,這里進行了整合。也就是說,如果你想本地化部署llama3大模型,本文是一套完整的部署方案。
第一步:啟動ollama
ollama是可以本地部署的模型,其他模型,大多需要key才能進行連接。并不能做到本地化部署,而ollama作為輕量級,可本地化部署的模型,就是我們當下最好的選擇了。
安裝ollama很簡單,只要你安裝了docker,一條命令就可以了。
docker pull ollama/ollamadocker run -d -v? $PWD/ollama:/root/.ollama -p 11434:11434 \--name ollama ollama/ollama?docker exec -it ollama /bin/bashollama run llama3
安裝成功并且run以后,就可以看到下面的提示符,說明模型已經部署成功了!?
需要注意的是:
如果已啟動過,需要刪除原有的容器,當你再次重啟以后,這個容器是不會自動運行的,需要手動,如下代碼。當然也可以采用docker compose的方式,這里就偷懶了。
docker restart ollamadocker exec -it ollama /bin/bashollama run llama3
還有一種方法就是把容器刪除,重新啟動,浪費時間就不推薦了。
docker rm 容器名稱
第二步:啟動dify
第一步完成以后,后面就是安裝dify框架了,dify的介紹和功能,在下面的參考文章中都有,有興趣可以去看看,這里就不多說了,直接上代碼。
git clone https://github.com/langgenius/dify.gitcd /dify/dockerdocker-compose up -d
當dify安裝成功以后,首先要進行管理員配置,傻瓜式操作。
需要注意的是,當你添加新用戶的時候,是采用邀請的方式,并不能直接設定用戶的密碼,這一點與其他平臺有點兒不同。?
第三步:配置模型(截圖)
最后一步是在dify里配置ollama模型,如下圖:?
如果能夠保存成功,就大功告成了!
需要注意的是,本文采用的是純CPU模式,如果要上生產,還是要用到GPU的,否則生成回答的時候,會很慢很卡。
?
參考文章:
58k+star!ollama快速部署llama3大模型 - 大模型知識庫|大模型訓練|開箱即用的企業大模型應用平臺|智能體開發|53AI
內網穿透的應用-如何使用Docker本地部署Dify LLM結合內網穿透實現公網訪問本地開發平臺_difydocker部署-CSDN博客
接入 Ollama 部署的本地模型 | 中文 | Dify