引言
近日,“TikTok 遭歐盟隱私監管機構調查并處以 5.3 億歐元”一案,再次引發行業內對數據合規等話題的熱議。據了解,僅 2023 年一年就產生了超過 20 億美元的 GDPR 罰單。這凸顯了在全球化背景下,企業在數據隱私保護方面所面臨的嚴峻挑戰以及監管機構對數據合規的嚴格要求。
在云原生時代,可觀測產品和服務已成為了企業重要的 IT 投資之一,企業在選型可觀測性產品和服務時往往也會對 SaaS 服務充滿質疑,“SaaS 到底安全嗎?”、“它會如何處理我司和我司用戶的數據”等問題。
觀測云
觀測云作為一款現代化的監控觀測云服務商,始終將產品的安全、用戶的數據放在首位。本文通過對數據隱私控制相關功能的介紹,希望能在一定程度上打消企業對監控觀測云服務的顧慮。
用戶體驗數據的處理
觀測云的 RUM 功能(用戶體驗監測)功能通常只采集用戶體驗相關的數據,例如頁面加載時間、資源加載時間、用戶交互行為(點擊、滾動等)、錯誤日志等,這些數據不涉及用戶的個人敏感數據。
對于可能涉及用戶身份的信息,如用戶ID、會話ID等,RUM工具會采用隨機生成的方式,確保無法直接識別到具體用戶。針對需要通過user_id來回溯特定用戶的場景,用戶需要通過主動調用”自定義用戶標識”的接口來實現,具體可參考自定義用戶標識。
對于采集到的數據,觀測云在傳輸中采用 https 加密技術,存儲時采用加密算法來確保數據的安全性。
會話重放數據的處理
會話重放(Session Replay)是觀測云針對企業用戶“客戶投訴難復現”、“VIP用戶的用戶體驗難保障”等痛點推出的功能,它能以類似視頻的方式還原用戶在 Web 端、移動端的操作,幫助 IT 團隊直觀了解用戶在訪問什么頁面、執行什么操作時遇到了用戶體驗受挫的情況。

大部分客戶在看到該功能時第一反應是驚喜,緊接著會開始擔心數據合規性的問題。事實上觀測云的“會話重放”功能并非屏幕錄制,它的原理是通過記錄網頁上發生的事件(例如 DOM 修改、鼠標移動、單擊和輸入事件)以及這些事件的時間戳來獲取瀏覽器的 DOM 和 CSS 的快照,并通過觀測云重建網頁并在適當的時間重新回放視圖中應用記錄的事件。在 Web 應用或 App 應用使用“會話重放”功能時,可以通過 defaultPrivacyLevel 選項來實現不同級別的隱私控制,如下圖所示:

模式1:mask-user-input
這是啟用會話重放功能的默認配置,在該模式下觀測云會屏蔽大多數表單字段,例如輸入、文本區域和復選框值,同時按原樣記錄所有其他文本。輸入被替換為三個星號 (***),文本區域被保留空間的 x 字符混淆。
模式2:mask
在該模式下,觀測云會屏蔽所有 HTML 文本、用戶輸入、圖像和鏈接。應用程序上的文本被替換為 X,將頁面呈現為線框。
模式3:allow
記錄所有數據,這種方式由于會明文展示表單字段,通常是在開發/測試環境中使用。
為了讓用戶能靈活地控制對敏感元素的屏蔽,會話重放功能還支持對敏感元素的自定義屏蔽功能,您可以根據業務需求靈活設置需要屏蔽的內容,支持通過元素屬性、元素類名等屏蔽配置方式來實現。更多描述可參考?Session Replay 如何保證您的數據安全。
客戶端側數據脫敏/丟棄
在日志分析等數據采集過程中,在客戶端進行數據脫敏至關重要,它能從源頭上保護用戶隱私和敏感信息,防止數據在傳輸和存儲過程中被泄露或濫用,確保數據的安全性和合規性。
觀測云支持“本地pipeline”,采集器 DataKit 在宿主機上即可對采集的日志進行靈活處理,包括字段脫敏和丟棄。常用的處理方式有:
- 無效化處理:通過采用 Cover 函數,對指定字段上獲取的字符串數據,按范圍進行數據脫敏處理,采用特殊字符(*,?等)代替真值。
- 通過采用 Replace 函數,對指定字段上獲取的字符串數據按正則進行替換。
- 通過采用 Drop 函數,丟棄整條日志或日志中的指定字段,不進行上傳。
例如下圖中的日志在采集過程中會攜帶 filepath(文件采集路徑)字段。我們可以通過 pipeline 對其進行丟棄處理。
pipeline 規則如下所示,將對 filepath 字段做丟棄處理。
pipeline 應用生效后,新生成的日志不再上報 filepath 字段。
數據訪問規則,精細化控制權限
用戶在使用觀測云期間往往會遇到角色、權限等相關的場景,例如:
- 場景1:企業用戶通常都會在觀測云中設置低權限/高權限角色,低權限用戶只能查看脫敏后的數據,而高權限因為工作需要可查看原始數據。
- 場景2:企業中存在按業務功能劃分的團隊,需要讓每位團隊成員只能看到自己所負責業務模塊的數據,而無法看到其他業務模塊的數據。
- 場景3:業務系統出現故障,需要找外部團隊(如軟件開發商)介入分析,又不希望暴露自己業務系統的敏感數據。
以上林林總總的場景,都可以通過觀測云的“數據訪問”功能加以實現。“數據訪問”功能首先基于不同來源的索引,為目標訪問者設定了成員角色級別的數據訪問范圍。此外,為了進一步保護數據,還可以利用正則表達式和脫敏字段等工具,在限制訪問的基礎上對數據進行必要的“再編輯”,確保敏感信息在不犧牲數據價值的前提下得到妥善處理。

鏈路中 SQL 參數的處理
鏈路數據采集過程中會捕獲到 SQL 語句,而 SQL 中的參數可能涉及到個人隱私數據(如姓名、郵箱、IP、登錄賬號等),因此觀測云在采集鏈路數據過程中會默認對 SQL 參數進行脫敏,這一過程是在數據傳送到觀測云 SaaS 平臺之前完成。如下圖所示:

對于開發/測試環境等需要在排查問題時獲得更準確信息的場景,觀測云支持在探針啟動過程中通過參數配置來獲得原始的、完整的 SQL 語句,如下圖所示:

具體可參見:
- ddtrace SQL脫敏
- OTEL SQL 脫敏
敏感數據掃描
在使用可觀測平臺相關功能的過程中,會不可避免地產生網絡設備地址、Token、API 密鑰、個人隱私等諸多敏感數據。為避免信息泄露,造成安全風險,觀測云提供敏感數據掃描的功能,通過為數據創建脫敏規則的方式,主動掃描平臺內的指定數據并加以脫敏,實現自定義信息屏蔽。
觀測云內置了個人敏感信息掃描、密鑰和憑證掃描、網絡和設備信息掃描等 70 多個內置規則庫,用戶可以直接勾選使用。此外,對于企業內特殊格式的敏感數據,可使用觀測云的自定義脫敏功能,創建正則表達式來實現。
脫敏方式 | 脫敏效果 |
---|---|
通用加密 | 以 * 替換所有匹配的敏感數據; |
部分加密 | 以 * 替換敏感數據中的部分字符串,可以保留部分敏感信息,例如:手機號 *1005; |
替換加密 | 以指定的字符串替換所有匹配的敏感數據,替換后不可逆; |
MD5 加密 | 對任意數據都可以加密成固定長度字符串,替換后不可逆。 |



總結
正是由于對用戶數據的尊重,觀測云不斷強化自身對用戶數據的合規、安全處理能力,不斷獲得行業和市場認可。目前觀測云已經通過了各大云廠的嚴苛篩選,上架了華為、阿里、AWS 等云商店/MarketPlace。并獲得了經權威機構審計的 SOC2 TypeⅡ 報告,相信會是企業選擇監控觀測云服務的不二之選。