研究背景:
? ? ? ? 異構聯邦中各客戶端模型結構,精度,算力都不同,無法像傳統聯邦那樣共享梯度,只能通過“查詢-響應”使用輔助數據來訓練模型。這種方法存在嚴重隱私問題:直接共享查詢樣本會泄露敏感信息,以及響應預測可能會泄露模型梯度和訓練數據的隱私。
相關知識:
????????偽隨機函數(PRF):一種確定性函數,以一個均勻隨機種子Sk和一個輸入x作為參數,輸出一個固定長度的偽隨機字符串。安全性體現在,輸出的偽隨機字符串與均勻分布的字符串在計算上是不可區分的。
研究思路:
? ? ? ? 本文提出了GuardHFL的新方法,基于標準HFL范式(本地訓練,查詢,本地再訓練),通過輕量級密碼技術增強隱私保護,制定安全查詢方案。
步驟:
- 安全查詢數據共享
? ? ? ? 為避免樣本直接暴露,查詢方需要將查詢數據x秘密共享給響應方和服務器。借助 PRF,查詢方和響應方通過預共享的種子Sk生成相同的隨機值r,使得響應方非交互地獲得x的份額,而查詢方僅需將剩余份額發送給服務器,避免了查詢數據的直接暴露。
? ? ?2. 安全模型預測
? ? ? ? 服務器在查詢方和響應方的協助下,對秘密共享的查詢數據執行安全模型預測。包含三層:線性層,ReLU和最大池化層。線性層:通過改進的矩陣乘法協議,響應方持有模型參數和服務器協作計算。利用 PRF 生成隨機矩陣,通過 1 輪通信和 3 個環元素交換,高效實現安全乘法。ReLU 激活函數:基于最高有效位判斷輸入正負,MSB 通過并行前綴加法器計算,僅依賴 AND 和 XOR 操作。最大池化層:通過遞歸劃分輸入為兩半,轉化為 ReLU 計算。
? ? ?3. 安全結果聚合
????????為避免單條預測泄露隱私,服務器聚合多個響應方的預測結果后返回給查詢方。每個響應方生成隨機值r( 與查詢方共享),計算份額并發送給服務器;服務器匯總結果,并將掩碼聚合結果發送給查詢方;查詢方通過累加隨機值恢復最終聚合結果。
實驗設置:
數據集:SVHN、CIFAR10、Tiny ImageNet;
在 SVHN、CIFAR10、Tiny ImageNet 上,使用私有訓練數據(Q-priv)或合成樣本(Q-syn)作為查詢數據,模型精度比原始 HFL 提高 4%~10%;
非獨立同分布(Non-IID)數據下,GuardHFL 仍能顯著提升模型性能。
未來方向:
降低通信成本(如借鑒 k - 正則圖思想);
擴展至惡意攻擊者模型。