隨著數據安全和隱私保護相關法律法規的出臺,需要直接在中央服務器上收集和處理數據的集中式解決方案,對于個性化物聯網而言,訓練各種特定領域場景的人工智能模型已變得不切實際。基于此,中山大學,南洋理工大學,北京大學,奧斯陸大學以及普林斯頓大學聯合提出了一個安全、經濟高效且領域自適應的框架——Cedar,以隱私保護的方式訓練個性化模型。本質上,Cedar 集成了聯邦學習和元學習,從而在個性化物聯網中實現安全的知識轉移,從而構建具有高泛化能力且可被客戶端快速調整的模型。通過使用來自不同領域的標準數據集進行評估,Cedar 在效率和安全性等方面均取得了顯著的提升。這些結果揭示了聯邦元學習的可行性和穩健性,從而釋放了人工智能在改革個性化物聯網方面的潛力。
論文:You, L., Guo, Z., Yuen, C. et al. A framework reforming personalized Internet of Things by federated meta-learning. Nat Commun 16, 3739 (2025). https://doi.org/10.1038/s41467-025-59217-z
論文鏈接:https://www.nature.com/articles/s41467-025-59217-z
項目地址:https://github.com/IntelligentSystemsLab/generic_and_open_learning_federator
目錄
- 聯邦元學習與PIoT
- Cedar框架
聯邦元學習與PIoT
PIoT即個性化IoT,兼顧整體系統效率和IoT端的個性化服務。AI模型在服務端收集高質量樣本訓練,然后根據個人偏好微調。為了發揮PIoT在邊緣計算的優勢,目前面臨以下問題:
- 服務器上的集中訓練不足:原因是客戶端隱私保護導致服務端的數據難以進一步擴展和質量提高。
- PIoT客戶端的個性化需求越來越明顯:集中模型不能給個體帶來最合適的response,在客戶端定制和微調模型非常必要。
因此,需要一個以協作為導向的隱私保護FL框架。通過聚合學習參與者上傳的本地模型來訓練全局模型,而不是直接在服務器上收集和處理私人數據。目前FL為了獲得一個與全局模型能力相當的客戶端模型依然面臨下面挑戰:
- 不同客戶端的數據是Non-IID的,直接匯總客戶端模型,會導致全局模型在主要樣本上過擬合,阻礙個性化
- 需要降低協作的成本:服務器和客戶端頻繁上傳和發送模型會造成通信成本增加
- 在開放的網絡中,會面臨攻擊,惡意客戶端會上傳有毒的模型
針對三個挑戰,分別有下面解決方案:
- 對于數據異質性:1.過濾局部數據訓練,2.知識蒸餾,元學習,原型學習提取代表性知識訓練全局模型
- 對于成本:1.減少模型大小和學習輪數,2.優化云-邊緣的協作拓撲
- 對于攻擊:同態加密,安全多方計算防御惡意客戶端
目前這些方案的缺陷是,不能直接組合到PIoT中,比如提高了安全性,學習成本會增大,或者降低成本,模型性能下降。Cedar集成了聯邦學習和元學習,可以保護隱私并用元模型快速適應個性化領域,非對稱的模型上傳機制提高協作效率,并防御攻擊。Cedar封裝在GOLF中(generic and open learning federator)。
Cedar框架
Cedar的三個階段,1.學習準備,2.元模型訓練,3.模型部署(圖a)
- 階段1:服務端(協調器-coordinator)收到客戶端的更新請求,首先會激活有訓練數據集的客戶端
- 階段2:元模型通過協調器與客戶端交互進行訓練,首先,協調器把任務規范發給激活的客戶端,每個客戶端在本地訓練,上傳重要層(節省成本)到服務器聚合更新為全局元模型。
對于階段2,考慮到Non-IID的數據異質性,Cedar不從客戶端提取局部知識再聚合,而是用元學習獲得可泛化的全局元模型----圖b
Cedar自動過濾重要模型層,并只上傳重要層,節省成本----圖c
Cedar利用非對稱模型進行防御,協調器可以檢測異常的更新----圖d - 階段3:訓練完全局元模型后,PIoT中的客戶端下載元模型,根據本地數據微調,獲得個性化模型—圖e