差分隱私中的合成定理用于分析多個機制組合時的隱私損失。基礎合成定理和高級合成技術分別在不同場景下提供了隱私預算增長的估計,其關系如下:
基礎合成定理(線性增長)
- 機制組合:當k個滿足(ε, δ)-DP的機制按順序組合時(無論是否自適應),總隱私參數為:
ε 總 = k ε , δ 總 = k δ . \varepsilon_{\text{總}} = k\varepsilon, \quad \delta_{\text{總}} = k\delta. ε總?=kε,δ總?=kδ. - 特點:隱私預算隨k線性增長,適用于一般情況(包括自適應組合),但結果較為寬松,尤其在k較大時可能不實用。
高級合成技術(次線性增長)
- 自適應組合優化:針對k次自適應的(ε, δ)-DP機制(通常要求每個機制的ε較小),高級組合定理(如Dwork et al.)給出更緊的隱私損失上界:
ε 總 = ε 2 k ln ? ( 1 / δ ′ ) + k ε 2 , δ 總 = k δ + δ ′ , \varepsilon_{\text{總}} = \varepsilon \sqrt{2k \ln(1/\delta')} + k\varepsilon^2, \quad \delta_{\text{總}} = k\delta + \delta', ε總?=ε2kln(1/δ′)?+kε2,δ總?=kδ+δ′,
其中δ’為新增的松弛項。 - 特點:隱私預算的ε項以√k速率增長,顯著優于線性增長,但需要引入額外的δ’。適用于自適應查詢場景,允許在較大k時保持可行。
兩者關系
-
應用場景:
- 基礎定理適用于任何組合(自適應或非自適應),但隱私損失較高。
- 高級定理專為自適應組合設計,通過概率分析和松弛δ,顯著降低ε的增長速率。
-
權衡與選擇:
- 當允許δ > 0時,高級技術能以較小的ε增長支持更多查詢。
- 若需嚴格保證δ=0(純差分隱私),則只能使用基礎定理的線性增長。
-
改進空間:
- 后續技術(如矩會計/RDP)進一步優化了高級定理,通過更精細的數學工具(如Rényi散度)實現接近最優的合成邊界。
總結
基礎合成定理提供了通用但寬松的隱私損失估計,而高級合成技術通過允許δ > 0和根號k因子,在自適應場景下顯著降低了隱私預算的增長速率。兩者的核心區別在于對自適應組合的分析精度,高級技術通過犧牲部分δ的嚴格性(允許少量失敗概率),換取了更高效的ε利用,從而支持更大規模的查詢組合。