Milvus是鷹科鷹屬的一種猛禽,以飛行速度快、視力敏銳和適應能力強而聞名。
Zilliz 以其開源高性能、高可擴展性矢量數據庫 Milvus 命名,該數據庫可在從筆記本電腦到大型分布式系統等各種環境中高效運行。它既可以作為開源軟件使用,也可以作為云服務使用。
Milvus 由 Zilliz 開發,并很快捐贈給 Linux 基金會旗下的 LF AI & Data 基金會,如今已成為全球領先的開源向量數據庫項目之一。它基于 Apache 2.0 許可證發布,大多數貢獻者均為高性能計算 (HPC) 社區的專家,擅長構建大規模系統并優化硬件感知代碼。核心貢獻者包括來自 Zilliz、ARM、NVIDIA、AMD、英特爾、Meta、IBM、Salesforce、阿里巴巴和微軟的專業人士。
有趣的是,每個 Zilliz 開源項目都以一種鳥的名字命名,這種命名慣例象征著自由、遠見和技術的敏捷演變。
非結構化數據、嵌入和 Milvus
非結構化數據(例如文本、圖像和音頻)格式多樣,并帶有豐富的底層語義,因此分析起來頗具挑戰性。為了應對這種復雜性,嵌入技術可用于將非結構化數據轉換為能夠捕捉其基本特征的數值向量。這些向量隨后存儲在向量數據庫中,從而實現快速且可擴展的搜索和分析。
Milvus 提供強大的數據建模功能,讓您能夠將非結構化或多模態數據組織成結構化集合。它支持多種數據類型,用于不同的屬性建模,包括常見的數值和字符類型、各種向量類型、數組、集合和 JSON,讓您免于維護多個數據庫系統。
非結構化數據、嵌入和 Milvus
Milvus 提供三種部署模式,涵蓋廣泛的數據規模——從 Jupyter Notebooks 中的本地原型設計到管理數百億向量的大規模 Kubernetes 集群:
- Milvus Lite 是一個 Python 庫,可以輕松集成到您的應用程序中。作為 Milvus 的輕量級版本,它非常適合在 Jupyter Notebook 中快速構建原型,或在資源有限的邊緣設備上運行。了解更多。
- Milvus Standalone 采用單機服務器部署,所有組件捆綁到單個 Docker 鏡像中,方便部署。了解更多。
- Milvus Distributed 可部署在 Kubernetes 集群上,其云原生架構專為億級甚至更大規模場景而設計。該架構確保關鍵組件的冗余。了解更多。
Milvus 為何如此之快?
Milvus 從設計之初就致力于打造一個高效的矢量數據庫系統。在大多數情況下,Milvus 的性能比其他矢量數據庫高出 2 到 5 倍(參見 VectorDBBench 測試結果)。如此高性能源于以下幾個關鍵的設計決策:
硬件感知優化:為了使 Milvus 能夠在各種硬件環境中運行,我們針對多種硬件架構和平臺專門優化了其性能,包括 AVX512、SIMD、GPU 和 NVMe SSD。