1.準備工作

使用ollama 拉取deepseek-r1:7b

官網下載ollama

ollama run deepseek-r1:7b

ollama list

Ragflow專注于構建基于檢索增強生成（RAG）的工作流，強調模塊化和輕量化，適合處理復雜文檔格式和需要高精度檢索的場景。Dify則旨在降低大型語言模型（LLM）應用開發的門檻，提供低代碼甚至無代碼的開發體驗，適合快速構建和部署多種AI應用。

因此文檔處理采用Ragflow ， 模型部署和agent 開發，采用dify。

dify 本地部署：可參考我的另一篇文章window 系統 使用ollama + docker + deepseek R1+ Dify 搭建本地個人助手_windows系統下 dify+ollama+deepseekr1如何訓練-CSDN博客

ragflow 本地部署：可參考如下文章

RAGFlow超詳細安裝指南 | 構建自己的本地知識庫_ragflow 安裝-CSDN博客

假設通過lot 采集的現場數據，存儲在mysql 數據庫中，這里以泵設備維護為例：

同時我們準備了離心泵設備維護手冊、技術原理等文檔

預測小模型 ：

為模擬真實生產場景，我們使用fastapi 構建了2個接口：

get 接口用于讀取數據庫中的實時數據

post 接口接收get 數據，并帶入小模型中，實現預測

注意：Dify運行在Docker容器中，而FastAPI服務在宿主機上通過VSCode啟動。這種設置下，Dify容器內的應用無法直接通過127.0.0.1訪問宿主機上的服務，因為127.0.0.1在容器內指的是容器自己的回環接口，而不是宿主機的。

因此需要將127.0.0.1 改成host.docker.internal:

2.使用dify 搭建離心泵智能診斷助手

最后，可以看一下，使用dify 工作流搭建的離心泵智能診斷助手：

以上，只是一個簡單的demo 示例，如需在真實場景中落地使用，還需考慮：

1.ollama更加輕量化，默認使用q4進行量化適合資源受限的環境，適合單機低并發，可以用cpu。vllm支持多機多卡分布式擴展，屬于生產級的高性能推力框架，等必須使用英偉達gpu，cuda的環境配置有技術門檻，不像ollama可以一鍵運行。

2.針對不同的數據，選擇不同的分塊方式，針對于圖片，可選擇知識圖譜功能。