【騰訊云云上實驗室】探索保護數據之盾背后的安全監控機制

當今數字化時代,數據安全成為了企業和個人最為關注的重要議題之一。隨著數據規模的不斷增長和數據應用的廣泛普及,如何保護數據的安全性和隱私性成為了迫切的需求。

今天,我將帶領大家一起探索騰訊云云上實驗室所推出的向量數據庫,這個強大的工具不僅能夠有效地存儲和處理大規模的向量數據,更有著卓越的安全監控機制,為用戶提供了一道堅實的數據安全之盾。本文將深入剖析騰訊云向量數據庫的安全監控機制,并從多個維度進行評估。 ????????

目錄

一、初識騰訊云向量數據庫

二、體驗性過程測試與評估

三、個性體驗與系統兼容性

四、數據可視化和數據安全

五、安全監控機制實操過程

六、個人總結及其未來展望


一、初識騰訊云向量數據庫

騰訊云向量數據庫(Tencent Cloud VectorDB):是一款全托管的自研企業級分布式數據庫服務,專用于存儲、檢索、分析多維向量數據。該數據庫能夠被廣泛應用于大模型的訓練、推理和知識庫補充等場景。是國內首個從接入層、計算層到存儲層提供全生命周期AI化的向量數據庫。騰訊云向量數據庫最高支持10億級向量檢索規模,延遲控制在毫秒級,相比傳統單機插件式數據庫檢索規模提升10倍,同時具備百萬級每秒查詢的峰值能力。跳轉鏈接:

數據存儲與處理性能:在數據存儲和處理性能這一方面,官方給我們介紹了在騰訊云向量數據庫中在數據存儲方面單索引支持10億級向量數據規模,在處理性能方面可支持百萬 QPS 及毫秒級查詢延遲,騰訊集團自研的向量檢索引擎 OLAMA,近40個業務線上穩定運行,日均處理搜索請求高達千億次,可見其服務的連續性和穩定性之高。具體的使用優勢可參考官方文檔給出的具體詳解:

安全監控機制:在騰訊云向量數據庫的對安全的處理中,騰訊云處理的方式是將向量數據庫運行于私有網絡環境中。該私有網絡是一塊在騰訊云上自定義的邏輯隔離網絡空間,基于隧道技術在物理網絡上構造虛擬網絡,使用虛擬化技術,實現不同私有網絡之間內網完全隔離。俗稱VPC:

專有網絡是自己完全掌控的網絡,例如選擇 IP 地址范圍、配置路由表和網關等,可以在自己定義的專有網絡中使用騰訊云或阿里云資源,專有網絡支持連接到其他專有網絡,或本地網絡,形成一個按需定制的網絡環境,實現應用的平滑遷移上云和對數據中心的擴展,而專有網絡VPC是基于阿里云構建的一個隔離的網絡環境,專有網絡之間邏輯上徹底分離:

VPC特點

安全隔離:使用隧道技術達到傳統VLAN相同隔離的效果;實現了不同云服務器間二層網絡隔離;專有網絡內的ECS使用安全組防火墻進行三層網絡訪問控制。

訪問控制:靈活的訪問控制規則,滿足政務金融等安全隔離規范。

軟件定義網絡:按需配置網絡設置,軟件定義網絡;管理操作實時生效等。

豐富的網絡連接方式:支持軟件VPN;支持專線連接

安全組介紹

安全組是一種虛擬防火墻,用于控制安全組內ECS實例的入流量和出流量,從而提高ECS實例的安全性。安全組具備狀態檢測和數據包過濾能力,您可以基于安全組的特性和安全組規則的配置在云端劃分安全域,在下文我們將詳細介紹安全組的配置過程。

其他具體的安全防護手段也可以參考?官方文檔 的講解,這里不再過多的一一介紹,詳情如下:

二、體驗性過程測試與評估

1】注冊與登錄? 訪問騰訊云 官方鏈接,初次使用騰訊云的朋友需要注冊并完成實名認證才可以繼續使用。然后在導航欄的搜索框當中輸入向量數據庫關鍵字回車,選擇第一個文檔消息進行向量數據庫的體驗:

2】創建實例 進入向量數據庫界面選擇體驗,然后在進入的后臺中點擊 新建 創建一個新的實例:

點擊新建后進入新建向量數據實例頁面進行相關配置即可:

配置數據庫相應選擇的參數可以參考官方文檔給我們的詳細解釋:跳轉鏈接 :

3】管理實例 創建完向量數據庫實例之后,在控制臺可點擊管理按鈕查看向量數據的具體信息:

我們可以在管理實例中看到需要可視化的管理選型,可以根據自己的選擇查看具體信息:

4】開啟外網 單擊實例 ID 進入實例詳情頁面,在網絡信息區域,單擊外網地址后面的開啟。在開啟外網訪問的小窗口,在允許訪問白名單的輸入框,配置外網訪問的白名單列表,如下:

5】登錄數據庫管理控制臺 我們在上面的管理實例中找到密鑰管理的選項,下面記載的名稱和API密鑰就是我們登錄控制臺的賬戶密碼:

在控制臺點擊登錄按鈕進行到登錄頁面輸入即可:

登錄控制臺之后,我們可以看到后臺提供給我們需要的可視化選項,我們可以根據需求選擇:

6】刪除實例 如果你想將創建的實例進行刪除的話,方式很簡單,只需要登錄控制臺點擊更多在下拉框中點擊銷毀即可:

三、個性體驗與系統兼容性

接下來簡單的介紹一下關于騰訊云向量數據庫是否支持用戶根據需求進行配置和定制:

我們在創建向量數據庫實例的時候可以根據需求定制一下基礎的配置和規格信息:

在規格信息的具體實例類型方面,可以根據需要求進行更多規格的申請,而不單單只是一些基礎的配置, 在填寫申請表的階段,可以詳細描述一下自己所使用向量數據庫的應用場景,這樣的話可以騰訊云可以根據我們的需求推斷出我們當前最適用的向量數據庫:

在登錄向量數據庫后他之后,騰訊云針對向量數據庫,推出數據庫管理、開發工具,可幫您在線管理數據庫、管理集合、快速查找更新數據等。后續騰訊云也將針對向量數據庫持續推出更多的功能哦,我們期待未來它給我們更多的驚喜。

騰訊云向量數據庫在主流操作系統(如Windows、Linux、MacOS等)和主流IDE(如Visual Studio Code、IntelliJ IDEA等)上都有良好的穩定性和兼容性。?它提供了多種客戶端和SDK,可以方便地集成到各種開發環境和工具中。無論你使用哪種操作系統或IDE進行開發,都可以通過騰訊云向量數據庫的客戶端進行連接和操作。這里可以看到官方文檔給我們相應的API文檔:

文檔的后面也提供了一個比較詳細的問答系統結合向量數據庫的實現過程:

這么詳細的文檔和示例代碼,可以幫助開發者快速上手并集成到他們的項目中。同時,騰訊云的技術支持團隊也會為開發者提供及時的幫助和支持,確保在不同的開發環境下能夠順利使用騰訊云向量數據庫。

四、數據可視化和數據安全

官方文檔給我們講解了關于騰訊云向量數據的具體操作,我們通過騰訊云提供的可視化界面,用戶可以輕松地創建新的數據庫,

進行數據操作以及數據查詢分析等各種操作:

當然我們也可以借助代碼將相應本地的文件上傳到向量數據庫當中進行檢索:

// 創建數據庫及表
public class AISearchExample {private static final String DB_NAME = "ai_test_db";private static final String COLLECTION_NAME = "ai_test_collection";private static void initDatabase(VectorDBClient client) {System.out.println("init database..");try {client.dropAIDatabase(DB_NAME);} catch (VectorDBException e) {// ignore}client.createAIDatabase(DB_NAME);}private static void initCollection(VectorDBClient client) {System.out.println("init collection..");Database database = client.database(DB_NAME);CreateAICollectionParam param = CreateAICollectionParam.newBuilder().withName(COLLECTION_NAME).build();database.createAICollection(param);}
}// 上傳文件
public class upLoadExample {...private static void writeKnowledgeByFile(VectorDBClient client) throws Exception {AICollection collection = client.database(DB_NAME).describeAICollection(COLLECTION_NAME);for (String f : Objects.requireNonNull(new File("doc").list())) {String filePath = "doc/" + f;System.out.println("upload file " + filePath);collection.upload(filePath, Collections.emptyMap());}System.out.println("all file uploaded.");System.out.println("文件上傳后,向量數據庫會進行解析和Embedding,請等待。");}
}

在數據安全方面騰訊云采用的是API 密鑰訪問作為身份驗證的方式,API 密鑰通常是由 API 提供者生成的一串字符串,用于標識 API 的調用者。在使用 API 時,調用者需要將 API 密鑰作為參數傳遞給 API,以便 API 可以驗證調用者的身份。騰訊云向量數據庫使用 API 密鑰來保護 API 訪問的安全性,在發送 API 請求時,攜帶密鑰 ID 和簽名信息,以便騰訊云可以驗證請求的合法性。

然后在外面的實例列表中找到相應的密鑰管理來作為對于username和key的參數:

import com.tencent.tcvectordb.client.VectorDBClient;
import com.tencent.tcvectordb.model.param.database.ConnectParam;
import com.tencent.tcvectordb.model.param.enums.ReadConsistencyEnum;public class VDBClient {public static VectorDBClient createClient() {ConnectParam param = getConnectParam();return new VectorDBClient(param, ReadConsistencyEnum.EVENTUAL_CONSISTENCY);}private static ConnectParam getConnectParam() {return ConnectParam.newBuilder().withUrl("url").withUsername("username").withKey("key").withTimeout(30).build();}
}

五、安全監控機制實操過程

騰訊云向量數據庫如何進行網絡流量、日志數據等表示為向量的安全監控,我們在探討其在異常檢測、模式識別和發現潛在安全威脅時應該采取什么措施,或者說未雨綢繆應該搭配騰訊云向量數據庫設置怎樣的防護手段呢?如下:

配置告警:騰訊云向量數據庫在實例實時監控方面下了很大的功夫,當我們打開控制臺的管理面板時,可以看到相當多的資源監控畫面:

很人性化的一點就是,當我們的網站數據被惡意請求時,當前的面板能夠實時的監聽出來,而且給我們還設置了一些報警的閾值,比如說當用戶惡意請求網站大量的流量時,控制臺將會根據我們設置的閾值進行相應的報警處理,我們可以在想要監聽用戶訪問資源的面板處進行報警設置:

配置相應的告警規則后,當用戶惡意攻擊我們的時候,就會觸發告警規則,及時通知我們目前我數據正在被攻擊,這樣就給我們一個處理被攻擊的一個機會,而不是等到已經被攻擊完畢之后,我們才后知后覺的發現網站數據被攻擊:

我們可以下載相應的開源工具 ann-benchmark-dev 進行向量數據庫的性能測試,具體方式可以參考官網的性能白皮書,我們根據官網的提示配置相應的探索參數:

然后在終端執行如下命令:

python3 run.py --dataset sift-128-euclidean  --local --force --parallelism 1 --algorithm vector_db --definitions=mytest.yml --runs 1

首先要cd到當前的工具目錄下執行命令進行測試:

我們在資源監控的位置就可以看到外面的資源正在被請求當中,這里設置閾值來進行安全告警完全是可以的:

安全組:簡單介紹如何防止網站被黑客攻擊的有效方式,提升自己網站的安全級別,防止被黑的有效的方式可以備份!定時備份就算被攻擊了也不慌!配置安全組,也是最有效的防護方式!

借助安全組我們可以限制某個ip段只能訪問我們的服務器或者數據庫,拿服務器舉例來說,如果一個服務器不做任何限制的話是最容易被黑客攻擊的,也就是說如果我們的所有端口都是開放的話就很容易被黑客入侵,如下:

在向量數據庫當中也是可以進行配置相應的安全組的,我們在騰訊云向量數據庫后臺點擊安全組,默認其給我們的是一個摩恩的安全組規則,其默認開放的也是80端口,這里如果我們可以根據需求進行一個規則的修改:

進行安全組規則的設置界面之后,我們進行添加規則的設置,可以根據需求添加相應的協議端口,如果我們本來已經存在的端口刪掉的話,再次進行連接的話是已經連接不上了。

比如我們百度搜索ip,然后就會出現你當前所處地區的ip地址,我們可以將該ip地址添加到安全組規則當中:

然后給其編輯其入站規則即可:

私有網絡: 我們在上文初識騰訊云向量數據庫的時候,已經簡單介紹了一下關于安全監控機制涉及的網絡層面上的事,在騰訊云數據庫當中也是采用相應的私有網絡進行安全防范,私有網絡為云上邏輯隔離的網絡空間,不同私有網絡間相互隔離,保障業務安全:

六、個人總結及其未來展望

通過上文學習我們了解到了騰訊云向量數據庫的安全監控機制在保護數據安全和隱私方面發揮著重要作用。其在實時監控、異常檢測、審計日志、訪問控制等方面都有很簡便的操作性。當然除了安全方面,其應用場景也十分廣泛,包括構建大型知識庫、推薦系統、智能問答系統以及文本/圖像檢索等。

但是關于騰訊云向量數據庫安全防范方面功能也不是很齊全,要知道數據庫被黑客攻擊的方式有很多,像SQL注入、跨站腳本攻擊、未經授權的訪問、拒絕服務攻擊、密碼破解等。我們不僅僅要實施嚴格的訪問控制策略、啟用審計日志并監控異常活動等操作還要定期備份數據庫,并將備份文件存儲在安全的位置、對用戶輸入數據進行驗證和過濾,確保輸入的數據符合預期的格式和范圍等常規操作。寶塔面板就考慮多方面的因素

智者千慮,必有一失。再安全的防范如果連操作的員工都不知道基本的安全意識的話,也是無用的,所以建立安全意識培訓計劃,教育員工有關數據庫安全的最佳實踐和常見的安全威脅,這也是非常重要的一環。

總之,騰訊云向量數據庫在保護數據安全和隱私方面已經做得很好,未來也可以不斷優化和完善安全監控機制,以滿足用戶在安全性和合規性方面的不斷提升的需求。具體的信息大家也可以查看一下官方對騰訊云數據庫的見解:

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/167071.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/167071.shtml
英文地址,請注明出處:http://en.pswp.cn/news/167071.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

新版PY系列離線燒錄器,支持PY002A/002B/003/030/071等MCU各封裝,不同 FLASH 大小型號

PY系列離線燒錄器,目前支持PY32F002A/002B/002/003/030/071/072/040/403/303 各封裝、不同 FLASH 大小型號。PY離線燒錄器需要搭配上位機軟件使用,上位機軟件可以在芯嶺技術官網上下載,還包括了離線燒錄器的使用說明。PY離線燒錄器使用MINI U…

金融機構如何高效率考勤?這個技巧幫了大忙!

在現代社會,隨著科技的不斷發展,人臉識別技術作為一種高效、便捷的身份驗證手段,逐漸應用于各個領域,其中之一便是人臉考勤系統。 傳統的考勤方式存在一系列問題,如卡片打卡容易被冒用、簽到表容易造假等,而…

CTFUB-web前置技能-HTTP協議

burp抓包,抓第二次的 修改請求方式為CTFHUB

算法筆記:OPTICS 聚類

1 基本介紹 OPTICS(Ordering points to identify the clustering structure)是一基于密度的聚類算法 OPTICS算法是DBSCAN的改進版本 在DBCSAN算法中需要輸入兩個參數: ? 和 MinPts ,選擇不同的參數會導致最終聚類的結果千差萬別,因此DBCSAN…

線上PDF文件展示

場景: 請求到的PDF(url鏈接),將其展示在頁面上 插件: pdfobject (我使用的版本: "pdfobject": "^2.2.12" ) 下載插件就不多說了,下面將其引入&a…

【Clang Static Analyzer 代碼靜態檢測工具詳細使用教程】

Clang Static Analyzer sudo apt-get install clang-tools scan-build cmake .. scan-build make -j4 編譯完成之后會在終端提示在哪里查看報錯文檔: scan-build: 55 bugs found. scan-build: Run scan-view /tmp/scan-build-2023-11-24-150637-6472-1 to examine bug report…

Liunx Ubuntu Server 安裝配置 Docker

1. 安裝Docker 1.1 更新軟件包列表 sudo apt update1.2 添加Docker存儲庫 sudo apt install apt-transport-https ca-certificates curl gnupg-agent software-properties-common curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - sudo add-a…

Django QuerySet.order_by SQL注入漏洞(CVE-2021-35042)

漏洞描述 Django 于 2021年7月1日發布了一個安全更新,修復了函數QuerySet.order_by中的 SQL 注入漏洞。 參考鏈接: Django security releases issued: 3.2.5 and 3.1.13 | Weblog | Django 該漏洞需要開發人員使用order_by功能。此外,還可…

加入華為云鯤鵬極簡開發創造營,激活創造力,探索無限可能!

數字經濟時代,速度、效率、質量安全已成為各行業告訴拓新發展的關鍵,華為云不斷打磨敏捷安全開發的軟件平臺,為更高效率的生產力變革積蓄能量。 在剛剛過去不久的2023華為全聯接大會上,華為最新發布了華為云CodeArts與鯤鵬DevKit…

關于配置文件中秘鑰信息加密實現方案的一些思考

關于配置文件中秘鑰信息加密實現方案的一些思考 背景實現方案 背景 配置信息文件中(代碼中), 不應該有明文的秘鑰信息. 需要找一種方案去做加密處理. 實現方案 我們可以在項目指定目錄上傳一份加密/解密程序, 例如: jasypt-gui.jar. 啟動時: 配置JVM參數, 對加密的信息進行解…

2023 Unite 大會關于“Muse“ AI 大模型訓練

Unity Muse 借助強大的 AI 能力幫助你探索、構思和迭代,其中包括紋理和精靈兩項功能,可將自然語言和視覺輸入轉化為可用資產。 將 AI 引入 Unity Editor 中的 Muse 提供了更快將想法轉化為實物的選項。您可以調整并使用文本提示、圖案、顏色和草圖&…

周總結2023-11-24

文章目錄 前言:工作:學習:生活: 前言: 保持激情,日日向上,激發內驅力。 工作: 1117上周未完成的計劃: 數模轉換模塊的數據處理分析HAL庫的學習IMU知識點匯總 1124本…

【采坑分享】導出文件流responseType:“blob“如何提示報錯信息

目錄 前言: 采坑之路 總結: 前言: 近日,項目中踩了一個坑分享一下經驗,也避免下次遇到方便解決。項目基于vue2axioselement-ui,業務中導出按鈕需要直接下載接口中的文件流。正常是沒有問題,但…

為什么在Pycharm中使用Pandas畫圖,卻不顯示?

問題描述: 在 Pycharm 中使用 Pandas 的 plot() 方法畫圖,卻不顯示圖像,源代碼如下: import pandas as pd import numpy as np# 從文件中讀取數據 starbucks pd.read_csv(./file_csv/directory.csv)# 按照國家分組,…

想問問各位大佬,網絡安全這個專業普通人學習會有前景嗎?

網絡安全是一個非常廣泛的領域,涉及到許多不同的崗位。這些崗位包括安全服務、安全運維、滲透測試、web安全、安全開發和安全售前等。每個崗位都有自己的要求和特點,您可以根據自己的興趣和能力來選擇最適合您的崗位。 滲透測試/Web安全工程師主要負責模…

對 .NET程序2G虛擬地址緊張崩潰 的最后一次反思

一:背景 1. 講故事 最近接連遇到了幾起 2G 虛擬地址緊張 導致的程序崩潰,基本上 90% 都集中在醫療行業,真的很無語,他們用的都是一些上古的 XP,Windows7 x86,我也知道技術人很難也基本無法推動硬件系統和…

抖音獲客策略:讓你的品牌在短視頻平臺一鳴驚人!

一、背景介紹 隨著移動互聯網的快速發展,抖音作為一款流行的短視頻平臺,已經成為越來越多企業的獲客渠道。抖音用戶規模龐大,日活用戶數量不斷增長,為企業提供了廣闊的市場空間。本文將介紹抖音獲客策略,幫助企業更好…

UNETR++:深入研究高效和準確的3D醫學圖像分割

論文:https://arxiv.org/abs/2212.04497 代碼:GitHub - Amshaker/unetr_plus_plus: UNETR: Delving into Efficient and Accurate 3D Medical Image Segmentation 機構:Mohamed Bin Zayed University of Artificial Intelligence1, Univers…

哦?是嗎|兜兜轉轉,最后還是選擇了蓋雅排班系統

在之前發布的和「人效案例集」中,我們為大家呈現了很多關于人效提升的理論方法,以及各家企業的人效提升提升實踐。 回過頭來,我們發現:排班管理滲透于人效九宮格之中,也因此成為很多企業人效提升的一個重要中介&#x…

深度學習八股文:混合精度訓練過程出nan怎么辦

其實如果是FP32的訓練,基本的調試方法還是差不多,這里就講一下混合精度訓練過程中的nan。 混合精度訓練使用較低的數值精度(通常是半精度浮點數,例如FP16)來加速模型訓練,但在一些情況下,可能會…