大模型工程師學習日記(十):基于 LangChain 構建向量存儲和查詢 Qdrant

Qdrant介紹

Qdrant(讀作:quadrant /'kwɑdr?nt/ n. 象限;象限儀;四分之一圓)是一個向量相似度搜索引擎。它提供了一個生產就緒的服務,具有方便的 API 來存儲、搜索和管理點 - 帶有附加載荷的向量。Qdrant專門支持擴展過濾功能,使其對各種神經網絡或基于語義的匹配、分面搜索和其他應用非常有用。

官方文檔:Home - Qdrant

以下展示了如何使用與Qdrant向量數據庫相關的功能。

有各種運行Qdrant的模式,取決于所選擇的模式,會有一些細微的差異。選項包括:

  • 本地模式,無需服務器
  • Qdrant 云

請參閱安裝說明。

%pip install --upgrade --quiet  langchain-qdrant langchain-openai langchain
#示例:qdrant_local.py
from langchain_community.document_loaders import TextLoader
from langchain_openai import OpenAIEmbeddings
from langchain_qdrant import Qdrant
from langchain_text_splitters import CharacterTextSplitter
loader = TextLoader("../../resource/knowledge.txt", encoding="UTF-8")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1500, chunk_overlap=0)
docs = text_splitter.split_documents(documents)
embeddings = OpenAIEmbeddings()

本地模式

Python 客戶端允許您在本地模式下運行相同的代碼,而無需運行 Qdrant 服務器。這對于測試和調試或者如果您計劃僅存儲少量向量非常有用。嵌入可能完全保存在內存中或者持久化在磁盤上。

內存中

對于一些測試場景和快速實驗,您可能更喜歡僅將所有數據保存在內存中,因此當客戶端被銷毀時數據會丟失 - 通常在腳本/筆記本的末尾。

#示例:qdrant_local.py
qdrant = Qdrant.from_documents(docs,embeddings,location=":memory:",  # 本地模式,僅內存存儲collection_name="my_documents",
)
磁盤存儲

在不使用 Qdrant 服務器的本地模式下,還可以將您的向量存儲在磁盤上,以便它們在運行之間持久化。

#示例:qdrant_disk.py
qdrant = Qdrant.from_documents(docs,embeddings,path="/tmp/local_qdrant",collection_name="my_documents",
)

相似度搜索

使用 Qdrant 向量存儲的最簡單場景是執行相似度搜索。在幕后,我們的查詢將使用embedding_function對查詢進行編碼,并用于在 Qdrant 集合中查找相似的文檔。

query = "Pixar公司是做什么的?"
found_docs = qdrant.similarity_search(query)
print(found_docs[0].page_content)

結果輸出

During the next five years, I started a company named NeXT, another company named Pixar, and fell in love with an amazing woman who would become my wife. Pixar went on to create the worlds first computer animated feature film, Toy Story, and is now the most successful animation studio in the world. In a remarkable turn of events, Apple bought NeXT, I retuned to Apple, and the technology we developed at NeXT is at the heart of Apple's current renaissance. And Laurene and I have a wonderful family together.
在接下來的五年里, 我創立了一個名叫 NeXT 的公司,還有一個叫Pixar的公司,然后和一個后來成為我妻子的優雅女人相識。Pixar 制作了世界上第一個用電腦制作的動畫電影——“”玩具總動員”,Pixar 現在也是世界上最成功的電腦制作工作室。在后來的一系列運轉中,Apple 收購了NeXT,然后我又回到了蘋果公司。我們在NeXT 發展的技術在 Apple 的復興之中發揮了關鍵的作用。我還和 Laurence 一起建立了一個幸福的家庭。

Qdrant 云

如果您不想忙于管理基礎設施,可以選擇在 Qdrant 云上設置一個完全托管的 Qdrant 集群。包括一個永久免費的 1GB 集群供試用。使用托管版本與使用 Qdrant 的主要區別在于,您需要提供 API 密鑰以防止公開訪問您的部署。該值也可以設置在 QDRANT_API_KEY 環境變量中。

url = "<---qdrant cloud cluster url here --->"
api_key = "<---api key here--->"
qdrant = Qdrant.from_documents(docs,embeddings,url=url,prefer_grpc=True,api_key=api_key,collection_name="my_documents",
)

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/72431.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/72431.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/72431.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

DeepSeek 助力 Vue3 開發:打造絲滑的網格布局(Grid Layout)

前言&#xff1a;哈嘍&#xff0c;大家好&#xff0c;今天給大家分享一篇文章&#xff01;并提供具體代碼幫助大家深入理解&#xff0c;徹底掌握&#xff01;創作不易&#xff0c;如果能幫助到大家或者給大家一些靈感和啟發&#xff0c;歡迎收藏關注哦 &#x1f495; 目錄 Deep…

deepseek、騰訊元寶deepseek R1、百度deepseekR1關系

分析與結論 區別與聯系 技術基礎與定制方向&#xff1a; DeepSeek官網R1版本&#xff1a;作為基礎版本&#xff0c;通常保留通用性設計&#xff0c;適用于廣泛的AI應用場景&#xff08;如自然語言處理、數據分析等&#xff09;。其優勢在于技術原生性和官方直接支持。騰訊元寶…

外貿獨立站使用wordpress模板與定制哪個SEO效果好

使用WordPress模板搭建的外貿獨立站與定制站的SEO效果&#xff0c;可以從以下幾個方面進行分析&#xff1a; 1. 內容質量是SEO的核心 內容質量確實是SEO的關鍵&#xff0c;無論使用模板還是定制開發&#xff0c;優質、相關、原創的內容都是提升排名的基礎。內容能夠解決用戶問…

Golang語法特性總結

1.認識Golang代碼特性 package main //1.包含main函數的文件就是一個main包--當前程序的包名// import "fmt" // import "time" import("fmt""time" )//3.同時包含多個包 4.強制代碼風格:函數的 { 一定和函數名在同一行&#xff0c;否…

AI賦能校園安全:科技助力預防與應對校園霸凌

校園本應是學生快樂學習、健康成長的地方&#xff0c;然而&#xff0c;校園霸凌卻成為威脅學生身心健康的隱形“毒瘤”。近年來&#xff0c;隨著人工智能&#xff08;AI&#xff09;技術的快速發展&#xff0c;AI在校園安全領域的應用逐漸成為解決校園霸凌問題的新突破口。通過…

易語言模擬真人鼠標軌跡算法 - 防止游戲檢測

一.簡介 鼠標軌跡算法是一種模擬人類鼠標操作的程序&#xff0c;它能夠模擬出自然而真實的鼠標移動路徑。 鼠標軌跡算法的底層實現采用C/C語言&#xff0c;原因在于C/C提供了高性能的執行能力和直接訪問操作系統底層資源的能力。 鼠標軌跡算法具有以下優勢&#xff1a; 模擬…

運營商三要素API:構建安全信任的橋梁

引言 在數字經濟時代&#xff0c;身份驗證已成為各類業務場景的基礎需求。運營商三要素API作為一種高效的身份核驗工具&#xff0c;通過對接運營商數據&#xff0c;實現對用戶姓名、身份證號碼、手機號碼三項關鍵信息的實時校驗&#xff0c;為各行業提供可靠的身份認證解決方案…

Spring Boot 與 MyBatis 版本兼容性

初接觸Spring Boot&#xff0c;本次使用Spring Boot版本為3.4.3&#xff0c;mybatis的起步依賴版本為3.0.0&#xff0c;在啟動時報錯&#xff0c;報錯代碼如下 org.springframework.beans.factory.BeanDefinitionStoreException: Invalid bean definition with name userMapper…

GCN從理論到實踐——基于PyTorch的圖卷積網絡層實現

Hi&#xff0c;大家好&#xff0c;我是半畝花海。圖卷積網絡&#xff08;Graph Convolutional Network, GCN&#xff09;是一種處理圖結構數據的深度學習模型。它通過聚合鄰居節點的信息來更新每個節點的特征表示&#xff0c;廣泛應用于社交網絡分析、推薦系統和生物信息學等領…

MyBatis-Plus 邏輯刪除實現

在很多企業級應用中&#xff0c;數據刪除操作通常采用 邏輯刪除 的方式&#xff0c;而不是物理刪除。邏輯刪除指的是通過更新字段&#xff08;例如 is_deleted 或 status&#xff09;來標記數據為刪除狀態&#xff0c;而不是真的從數據庫中刪除記錄。這樣做的好處是保留數據的歷…

STM32_IIC外設工作流程

STM32 IC 外設工作流程&#xff08;基于寄存器&#xff09; 在 STM32 中&#xff0c;IC 通信主要通過一系列寄存器控制。理解這些寄存器的作用&#xff0c;能夠幫助我們掌握 IC 硬件的運行機制&#xff0c;實現高效的數據傳輸。本文以 STM32F1&#xff08;如 STM32F103&#x…

集合遍歷的多種方式

目錄 1.增強for 2.迭代器&#xff08;在遍歷的過程中需要刪除元素&#xff0c;請使用迭代器&#xff09; 3.雙列集合 4.Lambda表達式(forEach方法) 1.單列集合&#xff1a; 2.雙列集合&#xff1a; 4.Stream 流 5.普通for循環 6.列表迭代器 7.總結 1.增強for 注&…

DeepSeek在MATLAB上的部署與應用

在科技飛速發展的當下&#xff0c;人工智能與編程語言的融合不斷拓展著創新邊界。DeepSeek作為一款備受矚目的大語言模型&#xff0c;其在自然語言處理領域展現出強大的能力。而MATLAB&#xff0c;作為科學計算和工程領域廣泛應用的專業軟件&#xff0c;擁有豐富的工具包和高效…

value_counts()和unique()

我今天發現一個很有意思的問題哈 import scanpy as sc import numpy as npX np.random.randn(10,3) adata1 sc.AnnData(X) adata1.obs["sample"] "H1" print(adata1)X np.random.randn(20,3) adata2 sc.AnnData(X) adata2.obs["sample"] &…

每日OJ_牛客_游游的字母串_枚舉_C++_Java

目錄 牛客_游游的字母串_枚舉 題目解析 C代碼 Java代碼 牛客_游游的字母串_枚舉 游游的字母串 描述&#xff1a; 對于一個小寫字母而言&#xff0c;游游可以通過一次操作把這個字母變成相鄰的字母。a和b相鄰&#xff0c;b和c相鄰&#xff0c;以此類推。特殊的&#xff0…

【AI深度學習基礎】Pandas完全指南入門篇:數據處理的瑞士軍刀 (含完整代碼)

&#x1f4da; Pandas 系列文章導航 入門篇 &#x1f331;進階篇 &#x1f680;終極篇 &#x1f30c; &#x1f4cc; 一、引言 在大數據與 AI 驅動的時代&#xff0c;數據預處理和分析是深度學習與機器學習的基石。Pandas 作為 Python 生態中最強大的數據處理庫&#xff0c;以…

數字萬用表的使用教程

福祿克經濟型數字萬用表前面板按鍵功能介紹示意圖 1. 萬用表簡單介紹 萬用表是一種帶有整流器的、可以測量交、直流電流、電壓及電阻等多種電學參量的磁電式儀表。分為數字萬用表&#xff0c;鉗形萬用表&#xff0c; &#xff08;1&#xff09;表筆分為紅、黑二只。使用時黑色…

C# IComparable<T> 使用詳解

總目錄 前言 在C#編程中&#xff0c;IComparable<T> 是一個非常重要的接口&#xff0c;它允許我們為自定義類型提供默認的比較邏輯。這對于實現排序、搜索和其他需要基于特定規則進行比較的操作特別有用。本文將詳細介紹 IComparable<T> 的使用方法、應用場景及其…

DeepSeek使用手冊分享-附PDF下載連接

本次主要分享DeepSeek從技術原理到使用技巧內容&#xff0c;這里展示一些基本內容&#xff0c;后面附上詳細PDF下載鏈接。 DeepSeek基本介紹 DeepSeek公司和模型的基本簡介&#xff0c;以及DeepSeek高性能低成本獲得業界的高度認可的原因。 DeepSeek技術路線解析 DeepSeek V3…

Hugging Face 推出 FastRTC:實時語音視頻應用開發變得得心應手

估值超過 40 億美元的 AI 初創公司 Hugging Face 推出了 FastRTC&#xff0c;這是一個開源 Python 庫&#xff0c;旨在消除開發者在構建實時音頻和視頻 AI 應用時的主要障礙。 "在 Python 中正確構建實時 WebRTC 和 Websocket 應用一直都很困難&#xff0c;"FastRTC…