如果將AI比作一臺高速運轉的機器引擎,那么數據便是它的燃料。
然而,存儲數據的燃料庫--傳統數據庫,在AI時代的效率瓶頸愈發明顯,已經無法滿足AI對于數據的全新需求。
因此,向量數據庫近年來迅速崛起。向量數據庫通過將非結構化數據轉化為高維向量,轉化為AI大模型能夠“理解”的語義,猶如在數據與AI應用之間建立起橋梁,成為AI時代不可或缺的基礎設施。
近日,亞馬遜云科技出海大會在深圳召開。作為全球向量數據庫公司領域的明星企業,Zilliz介紹了人工智能當下在數據層面所面臨的挑戰、向量數據庫最新的市場動態和技術趨勢,以及Zilliz如何與亞馬遜云科技合作,將全球領先的基礎設施、向量數據庫服務以及生成式AI能力帶給全球用戶。
正如Zilliz 合伙人與產品負責人郭人通所言:“如果把人工智能的發展分為上、下半場,上半場主要是利用大規模數據去訓練 AI 能力,支撐大模型或AI 能力的演進。而下半場,我們看到越來越多的智能體(Agent)深入到各個行業,反向產生海量的關鍵數據。因此,進入人工智能發展的下半場,企業更需要關注如何充分挖掘數據價值,實現AI應用的快速落地。”
向量數據庫:AI時代不可或缺的數據基礎設施
IDC預測,到2027年,全球86.8%的數據將是非結構化數據(如文本、圖像、視頻),但僅有18%的企業能有效利用這些數據。
對于AI而言,這些非結構化數據是極其寶貴的資源。那么,如何充分將非結構化數據利用起來就成為這個時代的一道必答題。
依靠傳統數據庫是否可行?面對生成式AI的檢索增強生成(RAG)、多模態搜索等場景的高并發、低延遲的語義檢索需求,傳統關系型數據庫的精確匹配模式顯得笨拙且低效,而向量數據庫則從傳統數據湖中提取關鍵信息并編碼成向量信息并構建索引,完美匹配了AI對于數據應用的需求。
因此,向量數據庫已成為連接傳統業務積累的原始數據與AI應用的關鍵環節,是AI時代不可或缺的數據基礎設施。Zilliz 合伙人與產品負責人郭人通直言:“向量數據庫可以幫助企業全面釋放數據的潛力,從而讓AI應用開發更加便捷與高效。”
Zilliz是一家專注向量數據庫領域的明星企業。自2018年起,Zilliz便前瞻性地投入向量數據庫系統的研發,其開源產品Milvus目前在GitHub上已獲得超過3萬星標,并吸引了數百位GitHub項目貢獻者,并形成全球最大的向量數據庫社區。
不過,向量數據庫是否會是AI時代的唯一的選擇?眾所周知,當下很多傳統數據庫也在紛紛加入向量功能,以滿足用戶構建AI應用時的數據管理需求。對此,郭人通表示:“傳統數據庫與向量數據庫是一對互補關系,而不是非此即彼的替代關系。對于一些傳統數據分析類業務而言,傳統數據庫加入向量功能,可以很好地滿足AI新需求;而對于一些新場景而言,天然就是圍繞AI去構建,則需要專業的向量數據庫。”
據悉,Zilliz在2023年開啟商業化進程,憑借之前幾年在開源領域的積累以及強大的技術實力,迅速在全球向量數據庫市場獲得突破。根據Forrester的評估,Zilliz在全球向量數據庫領導者象限中排名第一,是目前向量數據庫領域的領軍企業。
在Zilliz商業化的過程中,與云服務商合作,借助云計算的力量,加速將優秀的向量數據庫產品與服務推向全球用戶,乃Zilliz近年來的成功之道。這其中,亞馬遜云科技作為全球領先的云服務廠商,與Zilliz合作堪稱典范。
郭人通表示:“Zilliz從創立之初就著眼于全球市場,亞馬遜云科技憑借其全球覆蓋的基礎設施、穩定可靠的云和生成式AI服務、專業的安全合規理念與實踐,以及全球營銷和商業資源,為Zilliz全球業務拓展提供了有力支持,助力Zilliz觸達全球頭部企業級客戶,并實現銷量快速增長。”
當向量數據庫與云計算相遇
眾所周知,進入到AI時代,云計算已經成為眾多新技術快速應用的最佳載體。云服務商無論是算力基礎設施的規模、運維能力,還是資源使用模式,都能夠為包括生成式AI、向量數據庫等新技術提供最佳保障,可以讓眾多新技術企業將技術快速應用起來。
Zilliz與亞馬遜云科技的合作就堪稱AI時代的典范。通過與亞馬遜云科技廣泛和深入的合作,Zilliz快速為全球不同類型用戶提供 24 小時不間斷的向量數據庫服務,助力全球企業及開發者打造高質量 AI 服務與應用。
具體來看,首先是在AI集成方面進行深度合作,Zilliz Cloud向量數據庫解決方案通過應用Amazon Bedrock接入從文本到圖像的一系列強大的基礎模型,為企業提供原生的模型集成能力,支持用戶構建Embedding流程與復雜的數據檢索流程,輕松將非結構化數據轉換為嵌入 ( Embedding)向量,簡化數據處理流程,充分釋放非結構化數據潛能。此外,Zilliz還應用完全托管的機器學習平臺Amazon SageMaker,賦能開發人員和數據科學家快速構建、訓練和部署機器學習模型,助力客戶實現高效的向量索引和檢索。
其次,Zilliz Cloud 基于Amazon Elastic Compute Cloud (Amazon EC2)豐富的實例類型實現了多實例類型與大規模部署,提供了包括性能型、容量型、存儲擴展型等多套深度優化的解決方案,滿足用戶不同的負載需求。此外,基于Kubernetes容器編排服務Amazon Elastic Kubernetes Service(Amazon EKS) ,Zilliz可以在亞馬遜云科技上使用 Kubernetes 輕松部署、管理和擴展容器化應用程序,提升整體資源利用率,并加速產品發布與迭代過程。Zilliz還將大部分應用運行在亞馬遜云科技Amazon Graviton3實例之上,幫助應用成本優化提升20%以上。
第三,Zilliz Cloud 基于云中可大規模擴展的對象存儲服務Amazon Simple Storage Service (Amazon S3)構建高可靠的數據存儲與存算分離架構模式,大幅提升數據存儲效率。
第四,Zilliz充分利用亞馬遜云科技在安全合規上的積累,實現了向量數據庫服務的安全與合作。通過應用Amazon Key Management Service(Amazon KMS)、Web應用程序防火墻Amazon WAF、Amazon ALB、Amazon GuardDuty等一系列網絡和安全服務,Zilliz可持續監控惡意活動和未經授權的行為,構建安全可靠的向量數據庫服務,實現對數據、應用和基礎設施的安全保護,平均每日抵御上千條異常訪問。此外,借助亞馬遜云科技在數據安全標準與合規性上的眾多認證,Zilliz可以滿足各國監管機構的合規性要求,可在全球不同區域為客戶提供安全合規的高質量服務。
最后,在運維層面,Zilliz應用Amazon Q 幫助技術團隊更快熟悉亞馬遜云科技的服務,簡化信息訪問、加強信息檢索與優化配置,相比直接閱讀產品文檔,可為技術人員節省50%以上的檢索時間。
據悉,通過與亞馬遜云科技的合作,Zilliz如今已經實現全球業務快速擴張,目前已經完成了全球8個區域部署,橫跨北美、歐洲和亞洲,滿足全球用戶就近接入需求;此外,Zilliz Cloud上架到亞馬遜云科技Marketplace(海外區)之后,企業用戶在Marketplace上面為服務付費即可,大幅簡化了企業采購流程,使得Zilliz大幅提升銷售轉化。
“面向未來更大規模的AI數據應用,Zilliz還將繼續與亞馬遜云科技深耕合作,依托亞馬遜云科技領先的云和生成式AI服務,構建更加穩定可靠的向量數據庫基礎設施,助力企業高效搭建AI應用,實現持續商業變革。”Zilliz 合伙人與產品負責人郭人通介紹道。
亞馬遜云科技的出海戰略升級
眾所周知,2024 年是中國供應鏈全面深度出海的一年,中國企業走出去已經成為重要的趨勢。
隨之而來的,中國出海企業遇到的挑戰也在不斷增加,既有來來自地緣政治的不可控因素,也有各地區不同合規監管的迥異需求,更有生成式AI技術對于傳統產品改革的變化,這一切都需要借助云計算、新技術來應對。
就像亞馬遜云科技中國區行業集群總經理沈濤所言,過去十余年,亞馬遜云科技始終站在支持中國企業出海的最前沿,提供全球一致的服務能力、開發工具與合規資源。 亞馬遜云科技與Zilliz等合作伙伴一起,為出海企業提供更完整、更專業、更合規、更體系化的一站式服務,幫助中國企業持續在全球提升業務競爭力,航向深藍。
事實上,為了更好地服務中國企業出海,亞馬遜云科技已經對戰略進行升級,建立起‘三橫一縱’的支持體系,主要包括,三橫:覆蓋全球、穩定高可用的基礎設施及領先的云和生成式 AI 服務 、專業的安全合規理念和技術能力提供一站式出海合規解決方案和全球資源及合作伙伴網絡打造企業出海“朋友圈” 加速全球業務拓展;一縱則是聚焦出海9大行業的賦能,打造“行業解決方案資產庫”。
“基于過往的經驗,以及行業客戶全鏈路出海的需求,更基于生成式AI重塑行業創新的新趨勢,亞馬遜云科技宣布全面升級中企出海業務戰略,組建來自產品、業務拓展、合作伙伴、安全合規、解決方案、市場營銷等各領域專家在內的專屬支持團隊及駐扎在全球各地的出海特種兵團隊,更好地服務中國企業出海。”沈濤最后表示道。