目前deepseek 十分火爆,本地部署實現私有知識庫,幫助自己日常工作,上一篇使用工具cherry studio可以做到私人知識庫。今天學習了一下,使用Dify鏈接deepseek,實現私人知識庫,也非常不錯,這里分享下我的學習過程吧。
一、克隆 Dify 源代碼至本地環境。
git clone https://github.com/langgenius/dify.git
當然你也可以直接登錄網址 https://github.com/langgenius/dify? ?點擊Dnowload ZIP。
二、啟動Dify(前提是先安裝docker for mac)
1、進入 Dify 源代碼的 Docker 目錄
cd dify/docker
2、復制環境配置文件
cp .env.example .env
3、啟動 Docker 容器
docker-compose up -d
安裝好后,可以通過docker ps 查看所有容器是否都已正常運行。
4、訪問dify
# 初始化訪問,設置管理員賬戶
http://localhost/install
三、Dify配置deepseek大模型
首先從賬戶中心-設置中,點開。然后可以點擊?”模型供應商“。這時候可以看到很多大模型的供應商。我們可以選擇添加自己已經注冊或者本地部署過得大模型。
可以直接選擇deepseek的大模型,通過填寫自己的api-key,添加后,可以看到已經添加的模型。
當然你也可以通過siliconflow來實現你的知識庫,注冊賬戶后,將api-key填入即可。
這里介紹下如何綁定自己本地環境通過ollma部署的deepseek的模型,如下:
首先在模型供應商中找到ollma,然后點擊添加大模型,填寫本地部署的模型名稱,
注意:這里的基礎URL填寫http://host.docker.internal:11434,localhost是無法連接的。這里可以參考Dify官網查看
添加好后,在按照同樣的方法,繼續添加Text Embedding。這是為知識庫添加bge-large模型
當然這里的模型名稱是自己本地部署的模型名稱。
四、搭建知識庫
1、來到Dify的主界面,點擊知識庫。創建新的知識庫
2、上傳文檔
文檔上傳成功后,會自動嵌入,然后向量化。
文檔也已經被分段處理
3、引用知識庫
創建空白應用-創建聊天助手
然后在聊天界面中點擊添加上下文,也就是你剛才創建的知識庫。
此時在右邊的對話框中就可以輸入,大模型會根據知識庫進行查詢。在最后的界面中能看到引用自剛才創建的知識庫文件。
知識庫創建好后,你可以本地使用,如果想外部訪問這個知識庫,可以添加外部知識庫API。配置好API Endpoint后就可以。
當然,想要讓外部訪問到,你自己的機器網絡也需要在公網上。
五、Dify的亮點
在最后,還是想說一下Dify非常棒的功能,
Dify和cherry- studio、chatbox都可以隨時切換聊天對話的大模型,像知識庫這種,它還可以直接將聊天對話功能嵌入到自己的網站中去,這一點和阿里云的知識庫很像。
它還有一個亮點讓我覺得很驚喜的是,它有自己的API接口,可以直接對接,實現文件上傳啊,文本創建啊等,更加靈活的實現自己的知識庫功能,將Dify用于一個可視化的知識庫管理頁面來使用,實在是太棒了。