Spring AI應用：利用DeepSeek+嵌入模型+Milvus向量數據庫實現檢索增強生成--RAG應用（超詳細）

Spring AI應用：利用DeepSeek+嵌入模型+Milvus向量數據庫實現檢索增強生成–RAG應用（超詳細）

在當今數字化時代，人工智能（AI）技術的快速發展為各行業帶來了前所未有的機遇。其中，檢索增強生成（RAG）技術作為一種結合了檢索和生成的混合模型，已經在自然語言處理領域取得了顯著的成果。本文將詳細介紹如何利用Spring AI框架、DeepSeek大模型、嵌入模型以及Milvus向量數據庫實現一個高效的RAG應用。通過這一實踐，讀者將能夠構建一個能夠處理復雜查詢并生成高質量答案的智能系統。

一、技術背景與應用場景

（一）檢索增強生成（RAG）技術

檢索增強生成（Retrieval-Augmented Generation，RAG）是一種結合了檢索（Retrieval）和生成（Generation）的混合模型。它通過檢索模塊從大規模文檔集合中提取與查詢相關的文檔片段，然后將這些片段作為上下文信息輸入到生成模塊中，從而生成更準確、更相關的答案。RAG技術在問答系統、文檔摘要、內容推薦等領域具有廣泛的應用前景。

（二）技術選型

Spring AI框架：Spring AI是Spring框架的擴展，專門用于構建AI驅動的應用程序。它提供了與各種AI模型的無縫集成，簡化了開發流程。
DeepSeek大模型：DeepSeek是一個強大的預訓練語言模型，能夠處理復雜的自然語言任務。通過Spring AI框架，可以輕松調用DeepSeek模型。
Milvus向量數據庫：Milvus是一個開源的向量數據庫，專門用于存儲和檢索高維向量數據。它支持多種索引類型，能夠高效地處理大規模數據。
嵌入模型：嵌入模型用于將文本轉換為向量表示，以便存儲到Milvus數據庫中。常用的嵌入模型包括BERT、Sentence-BERT等。

二、系統架構設計

（一）整體架構

整個RAG應用的架構可以分為以下幾個主要部分：

前端界面：用戶通過前端界面輸入查詢問題，并接收系統生成的答案。
后端服務：后端服務負責處理用戶的查詢請求，調用RAG模型生成答案，并將結果返回給前端。
Milvus向量數據庫：存儲文檔的向量表示，用于檢索與查詢相關的文檔片段。
DeepSeek大模型：生成最終的答案。

（二）工作流程

用戶通過前端界面輸入查詢問題。
后端服務將查詢問題發送到Milvus數據庫，檢索與問題相關的文檔片段。
將檢索到的文檔片段作為上下文信息輸入到DeepSeek模型中。
DeepSeek模型根據上下文生成最終的答案。
后端服務將生成的答案返回給前端界面顯示給用戶。

三、環境準備與依賴安裝

（一）環境準備

Java開發環境：安裝JDK 1.8或更高版本。
Spring Boot：創建一個Spring Boot項目，用于構建后端服務。
Milvus數據庫：安裝并啟動Milvus服務。
DeepSeek模型：確保DeepSeek模型可用，可以通過API調用。

（二）依賴安裝

在pom.xml文件中添加以下依賴：

<dependencies><!-- Spring AI --><dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai</artifactId><version>1.0.0</version></dependency><!-- Milvus Java SDK --><dependency><groupId>io.milvus</groupId><artifactId>milvus-sdk-java</artifactId><version>2.0.0</version></dependency><!-- DeepSeek Java SDK --><dependency><groupId>org.springframework.ai.deepseek</groupId><artifactId>deepseek-java-sdk</artifactId><version>1.0.0</version></dependency>
</dependencies>

四、Milvus向量數據庫的搭建與數據準備

（一）連接Milvus數據庫

在Spring Boot項目中，創建一個配置類來連接Milvus數據庫：

import io.milvus.client.*;@Configuration
public class MilvusConfig {@Beanpublic MilvusClient milvusClient() {ConnectParam connectParam = new ConnectParam.Builder().withHost("localhost").withPort(19530).build();MilvusClient client = new MilvusGrpcClient.Builder().build();Response res = client.connect(connectParam);if (res.ok()) {System.out.println("Connected to Milvus server successfully.");} else {System.out.println("Failed to connect to Milvus server.");}return client;}
}

（二）創建集合與索引

在Milvus中創建一個集合用于存儲文檔的向量表示，并創建索引以加速檢索：

import io.milvus.client.*;@Service
public class MilvusService {@Autowiredprivate MilvusClient milvusClient;public void createCollection(String collectionName) {CollectionSchema collectionSchema = new CollectionSchema.Builder().withCollectionName(collectionName).withDescription("Collection for RAG application").addField(new FieldSchema.Builder().withName("id").withDataType(DataType.INT64).withIsPrimaryKey(true).withAutoID(true).build()).addField(new FieldSchema.Builder().withName("vector").withDataType(DataType.FLOAT_VECTOR).withDimension(768) // Assuming BERT embeddings.build()).build();Response res = milvusClient.createCollection(collectionSchema);if (res.ok()) {System.out.println("Collection created successfully.");} else {System.out.println("Failed to create collection.");}}public void createIndex(String collectionName) {IndexParam indexParam = new IndexParam.Builder().withCollectionName(collectionName).withFieldName("vector").withIndexType(IndexType.IVF_FLAT).withMetricType(MetricType.L2).withParams(new IndexParam.IndexParams.Builder().withNlist(128).build()).build();Response res = milvusClient.createIndex(indexParam);if (res.ok()) {System.out.println("Index created successfully.");} else {System.out.println("Failed to create index.");}}
}

（三）數據插入

將文檔數據插入Milvus數據庫中。假設我們已經使用嵌入模型將文檔轉換為向量表示：

@Service
public class MilvusService {@Autowiredprivate MilvusClient milvusClient;public void insertData(String collectionName, List<float[]> vectors) {List<Long> ids = new ArrayList<>();List<List<Float>> vectorList = new ArrayList<>();for (float[] vector : vectors) {ids.add(null); // Auto-generated IDvectorList.add(Arrays.stream(vector).boxed().collect(Collectors.toList()));}InsertParam insertParam = new InsertParam.Builder().withCollectionName(collectionName).withFields(new FieldParam.Builder().withName("vector").withValues(vectorList).build()).build();Response res = milvusClient.insert(insertParam);if (res.ok()) {System.out.println("Data inserted successfully.");} else {System.out.println("Failed to insert data.");}}
}

五、DeepSeek大模型的集成與調用

（一）配置DeepSeek客戶端

在Spring Boot項目中，創建一個配置類來配置DeepSeek客戶端：

import org.springframework.ai.client.AiClient;
import org.springframework.ai.client.DefaultAiClient;
import org.springframework.ai.deepseek.client.DeepSeekAiClient;
import org.springframework.ai.deepseek.client.DeepSeekAiClientConfig;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;@Configuration
public class DeepSeekConfig {@Beanpublic AiClient deepSeekAiClient() {String apiKey = "your-deepseek-api-key"; // Replace with your actual API keyDeepSeekAiClientConfig config = new DeepSeekAiClientConfig(apiKey);return new DeepSeekAiClient(config);}
}

（二）調用DeepSeek模型

創建一個服務類來封裝與DeepSeek模型的交互邏輯：

import org.springframework.ai.client.AiClient;
import org.springframework.ai.client.AiResponse;
import org.springframework.ai.prompt.Prompt;
import org.springframework.ai.prompt.messages.UserMessage;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;import java.util.List;@Service
publicclass DeepSeekService {@Autowiredprivate AiClient deepSeekAiClient;public String generateAnswer(String query, List<String> context) {Prompt prompt = new Prompt.Builder().withMessage(new UserMessage(query)).withContext(context).build();AiResponse response = deepSeekAiClient.generate(prompt);return response.getGeneratedText();}
}

六、實現RAG檢索增強生成邏輯

（一）檢索模塊

創建一個服務類來實現從Milvus數據庫中檢索相關文檔片段的邏輯：

import io.milvus.client.*;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;import java.util.ArrayList;
import java.util.List;@Service
public class RetrievalService {@Autowiredprivate MilvusClient milvusClient;public List<String> retrieveDocuments(String collectionName, float[] queryVector, int topK) {List<Long> ids = new ArrayList<>();List<List<Float>> vectorList = new ArrayList<>();vectorList.add(Arrays.stream(queryVector).boxed().collect(Collectors.toList()));SearchParam searchParam = new SearchParam.Builder().withCollectionName(collectionName).withDsl(new SearchParam.Dsl().withMetricType(MetricType.L2).withParams(new SearchParam.Dsl.Params.Builder().withTopK(topK).build()).withVectors(vectorList).build()).build();Response res = milvusClient.search(searchParam);if (res.ok()) {List<List<Float>> resultVectors = res.getVectorIdsList().get(0);List<String> retrievedDocuments = new ArrayList<>();for (List<Float> vector : resultVectors) {// Convert vector back to document (assuming you have a mapping)retrievedDocuments.add("Document corresponding to vector");}return retrievedDocuments;} else {throw new RuntimeException("Failed to retrieve documents.");}}
}

（二）生成模塊

將檢索到的文檔片段作為上下文信息輸入到DeepSeek模型中，生成最終的答案：

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;import java.util.List;@Service
public class RAGService {@Autowiredprivate RetrievalService retrievalService;@Autowiredprivate DeepSeekService deepSeekService;public String generateAnswer(String query, String collectionName, int topK) {// Convert query to vector using an embedding model (e.g., BERT)float[] queryVector = convertQueryToVector(query);// Retrieve relevant documents from MilvusList<String> retrievedDocuments = retrievalService.retrieveDocuments(collectionName, queryVector, topK);// Generate answer using DeepSeek modelString answer = deepSeekService.generateAnswer(query, retrievedDocuments);return answer;}private float[] convertQueryToVector(String query) {// Implement your embedding model logic here// For example, using BERT to convert query to vectorreturn new float[]{0.1f, 0.2f, 0.3f}; // Placeholder vector}
}

七、構建前端界面與后端接口

（一）前端界面

使用HTML和JavaScript構建一個簡單的前端界面，用戶可以在其中輸入查詢問題并查看生成的答案：

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>RAG Application</title>
</head>
<body><h1>RAG Application</h1><form id="queryForm"><label for="query">Enter your query:</label><input type="text" id="query" name="query" required><button type="submit">Submit</button></form><div id="answer"></div><script>document.getElementById('queryForm').addEventListener('submit', function(event) {event.preventDefault();const query = document.getElementById('query').value;fetch('/generate-answer', {method: 'POST',headers: {'Content-Type': 'application/json'},body: JSON.stringify({ query })}).then(response => response.json()).then(data => {document.getElementById('answer').innerText = data.answer;});});</script>
</body>
</html>

（二）后端接口

在Spring Boot項目中，創建一個控制器類來處理前端的查詢請求：

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;@RestController
@RequestMapping("/api")
public class RAGController {@Autowiredprivate RAGService ragService;@PostMapping("/generate-answer")public Map<String, String> generateAnswer(@RequestBody Map<String, String> request) {String query = request.get("query");String answer = ragService.generateAnswer(query, "your_collection_name", 5); // Adjust collection name and topK as neededreturn Map.of("answer", answer);}
}