背景介紹
阿里云向量檢索服務Milvus版(簡稱阿里云Milvus)是一款云上全托管服務,確保了了與開源Milvus的100%兼容性,并支持無縫遷移。在開源版本的基礎上增強了可擴展性,能提供大規模 AI 向量數據的相似性檢索服務。相比于自建,目前阿里云Milvus具備易用性、可用性、安全性、低成本與生態優勢。憑借其開箱即用的特性、靈活的擴展能力和全鏈路監控告警,阿里云Milvus 云服務成為多樣化 AI 應用場景的理想選擇,包括多模態搜索、檢索增強生成(RAG)、搜索推薦、內容風險識別等。您還可以利用開源的 Attu 工具進行可視化操作,進一步促進應用的快速開發和部署。
阿里云Milvus現已無縫集成于阿里云PAI平臺,一站式賦能用戶構建高性能的RAG(Retrieval-Augmented Generation)對話系統。您可以利用Milvus作為向量數據的實時存儲與檢索核心,高效結合PAI和LangChain技術棧,實現從理論到實踐的快速轉化,搭建起功能強大的RAG解決方案。
前提條件
- 已創建Milvus實例,并配置了公網訪問。
進入阿里云Milvus頁面(??https://www.aliyun.com/product/milvus???),登錄阿里云Milvus控制臺(??https://milvus.console.aliyun.com/#/overview??)。并在左側導航欄,單擊Milvus實例,并繼續創建實例。
在目標實例的安全配置頁面,單擊開啟公網。輸入當前服務器的公網訪問IP地址或符合CIDR定義的IP地址段。
- 已開通PAI(EAS)并創建了默認工作空間。
登錄??PAI控制臺???(??https://pai.console.aliyun.com??),在左上角選擇需要開通的地域后,進行認證、授權并開通服務,待開通成功后,便可進入控制臺進行AI開發。
使用限制
- Milvus實例和PAI(EAS)須在相同地域下。
操作流程
步驟一:通過PAI部署RAG系統
1.進入模型在線服務頁面。
????????a.登錄??PAI控制臺??(??https://pai.console.aliyun.com/??)。
????????b.在左側導航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應工作空間內。
????????c.在工作空間頁面的左側導航欄選擇模型部署>模型在線服務(EAS),進入模型在線服務(EAS)頁面。
2.在模型在線服務頁面,單擊部署服務。
3.在部署服務頁面,選擇大模型RAG對話系統部署。
4.在部署大模型RAG對話系統頁面,配置以下關鍵參數,其余參數可使用默認配置,更多參數詳情請參見??大模型RAG對話系統???(??https://help.aliyun.com/zh/pai/user-guide/deploy-a-rag-based-dialogue-system??)。
5.單擊部署。
當服務狀態變為運行中時,表示服務部署成功。
步驟二:通過RAG WebUI上傳知識庫
1.配置RAG對話系統。
????????a.在模型在線服務(EAS)頁面,單擊查看Web應用,進入WebUI頁面。
????????b.配置Embedding模型。
????????在RAG服務WebUI界面的Settings選項卡中,系統已自動識別并應用了部署服務時配置的向量檢索庫設置。
- Embedding Model Name:系統內置四種模型供您選擇,將自動為您配置最合適的模型。
- Embedding Dimension:選擇Embedding Model Name后,系統會自動進行配置,無需手動操作。
2.測試向量檢索庫連接是否正常。
系統已自動識別并應用了部署服務時配置的向量檢索庫設置,并且該設置不支持修改。您可以單擊Connect Milvus,來驗證Milvus連接是否正常。
3.上傳知識庫。 在RAG服務WebUI界面的Upload選項卡中,可以上傳知識庫文檔。
????????a. 設置語義切塊參數。
????????通過配置以下參數來控制文檔切塊粒度的大小和進行QA信息提取:
參數 | 描述 |
Chunk Size | 指定每個分塊的大小,單位為字節,默認為500。 |
Chunk Overlap | 表示相鄰分塊之間的重疊量,默認為10。 |
Process with QA Extraction Model | 通過選中Yes復選框啟動QA信息提取功能,系統將在您上傳業務數據文件后自動抽取出QA對,以獲得更好的檢索和回答效果。 |
????????b. 在Files頁簽下上傳業務數據文件(支持多文件上傳)。
????????本文以唐詩三百首的??poems.txt???(??https://help-static-aliyun-doc.aliyuncs.com??)文檔作為示例數據,您可以直接使用。
????????c. 單擊Upload,系統會先對上傳的文件進行數據清洗(文本提取、超鏈接替換等)和語義切塊,然后進行上傳。
步驟三:通過RAG WebUI對話
在RAG服務WebUI界面的Chat選項卡中,提供了多種不同的Prompt策略,您可以選擇合適的預定義Prompt模板或輸入自定義的Prompt模板以獲得更好的推理效果。
1.配置LLM問答策略
????????a.在RAG服務WebUI界面的Chat選項卡中,選擇LLM。
????????b.直接與LLM對話,返回大模型的回答。
2.配置Retrieval問答策略
3.配置RAG(Retrieval + LLM)問答策略
選擇RAG (Retrieval + LLM),然后進行向量檢索等一系列實驗。
步驟四:查看知識庫切塊
Attu是一款專為Milvus打造的開源數據庫管理工具,提供了便捷的圖形化界面, 極大的簡化了對Milvus的操作與管理流程。下面,我們將使用Milvus的Attu工具,查看 向量檢索服務的存儲內容。
1.進入安全配置頁面。
????????a.登錄??阿里云Milvus控制臺??(??https://milvus.console.aliyun.com/??)。
????????b.在左側導航欄,單擊Milvus實例。
????????c.在頂部菜單欄處,根據實際情況選擇地域。
????????d.在Milvus實例頁面,單擊目標實例名稱。
????????e.單擊安全配置頁簽。
2.配置公網訪問。
????????a.在安全配置頁簽,單擊開啟公網。
????????b.輸入當前服務器的公網訪問IP地址或符合CIDR定義的IP地址段。
????????多個IP條目以半角逗號(,)隔開,不可重復。您可以通過訪問??https://www.cip.cc/??,獲取當前服務器的公網訪問IP地址。
????????c.單擊確定。
3.訪問Attu頁面。
????????a.單擊頁面上方的Attu manager。
?????????b.在彈出的對話框中輸入所要訪問的數據庫、用戶名和密碼,單擊連接,即可打開Attu管理頁面。
????????實例創建完成后,系統會自動創建一個名為default的默認數據庫,并為您創建一個名為root的用戶,該用戶的密碼由您在創建實例時自行設置。
4.在Attu頁面,您可以看到RAG服務自動創建的Collection。
相關信息
- 更多關于Milvus的介紹,請參見??什么是向量檢索服務Milvus版???(??https://help.aliyun.com/zh/milvus/product-overview/what-is-the-vector-retrieval-milvus-version??)。
- Milvus最新動態:
- 預付費包年折扣:1年85折、2年7折、3年5折;
- 產品動態:
如有疑問,可加入向量檢索 Milvus 版用戶交流釘群 59530004993咨詢。