本指南演示了如何使用 LlamaIndex 和 Milvus 構建一個檢索增強生成(RAG)系統。
RAG 系統將檢索系統與生成模型相結合,根據給定的提示生成新的文本。該系統首先使用 Milvus 等向量相似性搜索引擎從語料庫中檢索相關文檔,然后使用生成模型根據檢索到的文檔生成新的文本。
安裝依賴:
pip install llama-index-vector-stores-milvus -i https://mirrors.aliyun.com/pypi/simple/
加載數據
準備的數據:
《背影》作者:朱自清我與父親不相見已二年余了,我最不能忘記的是他的背影。那年冬天,祖母死了,父親的差使⑴也交卸了,正是禍不單行的日子。我從北京到徐州,打算跟著父親奔喪⑵回家。
到徐州見著父親,看見滿院狼藉⑶的東西,又想起祖母,不禁簌簌地流下眼淚。父親說:“事已如此,不必難過,好在天無絕人之路!”回家變賣典質⑷,父親還了虧空;又借錢辦了喪事。這些日子,家中光景很是慘澹⑸,一半為了喪事,一半為了父親賦閑⑹。
喪事完畢,父親要到南京謀事,我也要回北京念書,我們便同行。到南京時,有朋友約去游逛,勾留⑺了一日;第二日上午便須渡江到浦口,下午上車北去。父親因為事忙,本已說定不送我,
叫旅館里一個熟識的茶房⑻陪我同去。他再三囑咐茶房,甚是仔細。但他終于不放心,怕茶房不妥帖⑼;頗躊躇⑽了一會。
其實我那年已二十歲,北京已來往過兩三次,是沒有什么要緊的了。他躊躇了一會,終于決定還是自己送我去。我再三勸他不必去;
他只說:“不要緊,他們去不好!”我們過了江,進了車站。我買票,他忙著照看行李。行李太多了,得向腳夫⑾行些小費才可過去。
他便又忙著和他們講價錢。我那時真是聰明過分,總覺他說話不大漂亮,非自己插嘴不可,但他終于講定了價錢;
就送我上車。他給我揀定了靠車門的一張椅子;我將他給我做的紫毛大衣鋪好座位。他囑我路上小心,夜里要警醒些,
不要受涼。又囑托茶房好好照應我。我心里暗笑他的迂;他們只認得錢,托他們只是白托!而且我這樣大年紀的人,
難道還不能料理自己么?我現在想想,我那時真是太聰明了。我說道:“爸爸,你走吧。”他往車外看了看,說:“我買幾個橘子去。你就在此地,不要走動。”我看那邊月臺的柵欄外有幾個賣東西的等著顧客。
走到那邊月臺,須穿過鐵道,須跳下去又爬上去。父親是一個胖子,走過去自然要費事些。
我本來要去的,他不肯,只好讓他去。我看見他戴著黑布小帽,穿著黑布大馬褂⑿,深青布棉袍,蹣跚⒀地走到鐵道邊,慢慢探身下去,
尚不大難。可是他穿過鐵道,要爬上那邊月臺,就不容易了。他用兩手攀著上面,兩腳再向上縮;
他肥胖的身子向左微傾,顯出努力的樣子。這時我看見他的背影,我的淚很快地流下來了。我趕緊拭干了淚。
怕他看見,也怕別人看見。我再向外看時,他已抱了朱紅的橘子往回走了。過鐵道時,他先將橘子散放在地上,
自己慢慢爬下,再抱起橘子走。到這邊時,我趕緊去攙他。他和我走到車上,將橘子一股腦兒放在我的皮大衣上。
于是撲撲衣上的泥土,心里很輕松似的。過一會兒說:“我走了,到那邊來信!”我望著他走出去。他走了幾步,
回過頭看見我,說:“進去吧,里邊沒人。”等他的背影混入來來往往的人里,再找不著了,我便進來坐下,我的眼淚又來了。近幾年來,父親和我都是東奔西走,家中光景是一日不如一日。他少年出外謀生,獨力支持,
做了許多大事。哪知老境卻如此頹唐!他觸目傷懷,自然情不能自已。情郁于中,自然要發之于外;
家庭瑣屑便往往觸他之怒。他待我漸漸不同往日。但最近兩年不見,他終于忘卻我的不好,只是惦記著我,
惦記著我的兒子。我北來后,他寫了一信給我,信中說道:“我身體平安,惟膀子疼痛厲害,舉箸⒁提筆,諸多不便,
大約大去之期⒂不遠矣。”我讀到此處,在晶瑩的淚光中,又看見那肥胖的、青布棉袍黑布馬褂的背影。唉!我不知何時再能與他相見!
from llama_index.core import Settings, SimpleDirectoryReaderfrom my_llms.MyLLMsClients import MyLLMsClientsSettings.llm = MyLLMsClients.deepseek_client()
Settings.embed_model = MyLLMsClients.qwen_embeddings()# 加載數據
documents = SimpleDirectoryReader(input_files=["../data/散文/背影-朱自清.txt"], recursive=True).load_data()print("Document ID:", documents[0].doc_id)
創建數據索引
現在我們已經有了一個文檔,可以創建索引并插入該文檔。對于索引,我們將使用 MilvusVectorStore。
# 創建文檔索引
vector_store = MilvusVectorStore(uri="http://192.168.0.116:19530",collection_name="essay_collection",dim=1024,overwrite=True, # 是否覆蓋同名的已有集合。默認值為 False。
)storage_context = StorageContext.from_defaults(vector_store=vector_store)
index = VectorStoreIndex.from_documents(documents, storage_context=storage_context
)
查詢數據
# 創建查詢引擎并進行查詢
query_engine = index.as_query_engine()
res = query_engine.query("文章的作者是誰?")
print(res)
運行結果:
Document ID: 03d81861-1043-4f58-8923-8f03be77d066
2025-05-13 22:16:25,907 [DEBUG][_create_connection]: Created new connection using: 2b0fb6a2181146fa98956805fbf5d9ea (async_milvus_client.py:599)
文章的作者是朱自清。
Milvus數據庫中的變化
此時,執行代碼后,LlamaIndex在Milvus中使用的是默認數據庫"default"庫,并在此庫中創建了集合?essay_collection 。
集合Schema字段說明
- doc_id : document 文檔ID
- text: 文檔的文本內容
- embedding: 存儲的向量,并為向量創建了索引,索引名稱:embedding,索引類型:FLAT
從Milvus中查詢已有的數據
from llama_index.core import Settings, StorageContext, VectorStoreIndex
from llama_index.vector_stores.milvus import MilvusVectorStorefrom my_llms.MyLLMsClients import MyLLMsClientsSettings.llm = MyLLMsClients.deepseek_client()
Settings.embed_model = MyLLMsClients.qwen_embeddings()# 連接Milvus
vector_store = MilvusVectorStore(uri="http://192.168.0.116:19530",collection_name="essay_collection",dim=1024,overwrite=False, # 是否覆蓋同名的已有集合。默認值為 False。embedding_field='embedding',
)storage_context = StorageContext.from_defaults(vector_store=vector_store)# 從向量數據庫中加載索引
index = VectorStoreIndex.from_vector_store(vector_store, storage_context=storage_context
)#創建查詢引擎并進行查詢
query_engine = index.as_query_engine()
res = query_engine.query("作者多久沒有見到老爹了?")
print(res)
2025-05-13 23:28:14,478 [DEBUG][_create_connection]: Created new connection using: c3cbdd7fe28c4a81803a302e8d95862d (async_milvus_client.py:599)
作者已經兩年多沒有見到父親了。