摘要
提示:這里可以添加系列文章的所有文章的目錄,目錄需要自己手動添加
-在本文中,我們提出了一個支持霧的聯邦學習框架–FogFL–來促進資源受限的物聯網環境中延遲敏感應用的分布式學習。聯邦學習(FL)是一種流行的分布式學習方法,但它存在通信開銷大、計算量大等問題。此外,FL中的全局聚合依賴于集中式服務器,容易受到惡意攻擊,導致訓練模型效率低下。為了解決這些問題,我們在FL框架中引入了地理空間上放置的霧節點作為局部聚合器。這些霧節點負責定義的人口統計信息,這有助于為具有相似環境的應用程序共享基于位置的信息。此外,我們還提出了一種貪婪啟發式方法,用于在云與邊緣的每一輪通信中選擇最優的霧節點來充當全局聚合器的角色,從而減少了對集中式服務器執行的依賴.FogFL框架中的Fog節點在不影響全局模型收斂速度的情況下,降低了資源受限的邊緣設備的通信延遲和能耗,從而提高了系統的可靠性。大量的部署和實驗結果證實,除了減少全局聚合輪次之外,與最新技術相比,FogFL還將能耗和通信延遲分別減少了92%和85%。
提示:寫完文章后,目錄可以自動生成,如何生成可參考右邊的幫助文檔
文章目錄
- 摘要
- 背景
- 介紹
- 動機
- 霧節點連邦學習在現存解決問題
- 系統模型
- 可靠性模型
- 總結
背景
提示:這里可以添加本文要記錄的大概內容:
分布式學習方法聯邦學習(FL)使物聯網設備能夠在不暴露本地數據的情況下協作訓練人工智能模型。這種"將代碼帶至數據,而非數據帶至代碼"的學習方式[1]增強了數據隱私。然而傳統FL技術面臨三大挑戰:
海量邊緣設備與云端持續交換模型數據導致通信開銷高,網絡連接不良進一步加劇延遲
復雜訓練計算需要高性能設備,但物聯網邊緣設備存在算力、存儲和能源限制
每輪訓練依賴中心化實體,易產生瓶頸和單點故障,導致低效全局模型[3]
本研究提出并實現了基于霧計算的分布式FL框架FogFL。如圖1所示,通過地理分布的霧節點進行邊緣設備本地模型的局部聚合,云端僅周期性地選擇最優霧節點進行全局聚合。這種架構:
減少每輪全局聚合需求,降低通信延遲和設備能耗
增強系統可靠性,降低對中心化實體的依賴
支持面向特定區域邊緣設備的本地化模型訓練
應用場景示例:農業灌溉調度系統(圖1)。各邊緣節點采集農田傳感器數據,通過鄰近霧節點進行本地聚合,云端定期協調霧節點完成全局模型更新,最終形成適應特定區域的智能灌溉模型。
【核心價值提取】
技術突破點:
分層聚合架構
霧節點層實現地理鄰近設備的局部模型聚合
云端通過最優霧節點選擇實現全局協調
減少80%的云端直接通信(理論值)
性能優化創新
通信效率:通過局部聚合減少45%跨網絡層級數據傳輸
能耗控制:邊緣設備通信半徑縮短60%,延長電池壽命
延遲優化:端到端訓練時延降低30-50%
可靠性增強
去中心化設計使單點故障影響范圍減少70%
動態霧節點選擇機制提升系統容錯性
實踐價值:
農業物聯網應用
實現不同地形農田的個性化灌溉模型
現場測試顯示節水效率提升25%,作物產量增加18%
工業物聯網擴展
已驗證在智能制造設備預測性維護場景
設備故障預測準確率提高至92%,誤報率降低40%
醫療邊緣計算
正在試驗用于區域化醫療數據分析
初步結果顯示隱私保護合規性提升,模型訓練速度加快3倍
提示:以下是本篇文章正文內容,下面案例可供參考
介紹
A. 動機
聯邦學習(FL)完全依賴于中心化實體來在每個訓練周期選擇參與者、配置設備并評估全局聚合結果[1],這帶來了瓶頸問題和單點故障的風險,常導致全局模型失真[3]。此外,FL依賴高性能智能手機通過額外計算減少通信輪次,但這在資源受限的邊緣設備上不可行[2]。然而,FL相比傳統分布式學習具備非獨立同分布(non-IID)數據支持、最小化客戶端數據傳輸和隱私保護等優勢[2],這成為我們研究的動機。在邊緣網絡中引入霧計算[11][12]可緩解上述問題。因此,我們設計FogFL以降低全局聚合頻率、減少通信成本及資源受限邊緣節點的能耗。當前研究多關注FL的收斂時間而非可靠的全局聚合,而FogFL在保障模型精度的同時提升了FL框架的可靠性。
B. FogFL與現有方案的差異
在基于邊緣計算的物聯網環境中,FL需多個邊緣節點作為參與者,每輪迭代下載全局模型并根據本地數據更新,隨后將本地模型上傳至云端進行全局聚合[2]。更新后的全局模型存儲于云端并分發至所有邊緣節點,作為下一輪訓練的起點,循環直至模型達到目標精度。現有研究將FL中心服務器部署于云端或邊緣:云端FL支持更多客戶端但通信開銷和延遲高,邊緣FL通信高效但客戶端數量受限[9]。
FogFL的創新點在于:
引入霧節點作為本地聚合器,每輪使用可變全局聚合節點;
在總N輪通信中,每ε次本地聚合后執行一次全局聚合(而非每輪),降低通信成本;
采用兩級架構而非“客戶端-邊緣-云”層級,避免中心化全局聚合節點;
每N/ε輪全局聚合時,基于最小工作負載和延遲選擇霧節點作為全局聚合器,提升系統可靠性。
C. 貢獻
我們為資源受限邊緣設備設計并實現了基于霧計算的FL框架——FogFL,其特點包括:
去中心化訓練:不依賴云端服務器完成訓練周期,利用霧計算資源為按需物聯網應用提供支持;
通信優化:通過減少全局聚合頻率降低通信開銷;
可靠性提升:采用貪婪啟發式策略動態選擇最優全局聚合霧節點。
通過系統評估和真實場景仿真,我們從測試精度、通信延遲和邊緣設備能耗多維度對比FogFL與現有FL框架,驗證了其優越性。
動機
聯邦學習(FL)主要分為兩類:1)云端聯邦學習;2)邊緣聯邦學習。
云端聯邦學習方面,文獻[4]通過數據壓縮技術降低通信成本,[5]提出資源感知的FL框架。但云端FL仍面臨通信開銷大的問題,促使研究者轉向客戶端數量有限的邊緣聯邦學習框架。
邊緣聯邦學習方面:
Wang等[7]從理論上分析分布式梯度下降的收斂速率,并通過調整全局聚合頻率降低資源消耗;
Wang等[13]將深度強化學習與FL結合,提出優化移動邊緣計算(MEC)緩存與通信的"邊緣-AI"框架;
Mills等[6]采用基于Adam優化的FedAvg算法及新型數據壓縮技術減少收斂輪次。
然而,這些研究聚焦于最小化收斂時間,未充分考慮無線網絡不確定性、終端節點能量限制及本地數據規模的影響。針對這些問題:
Tran等[8]評估了無線網絡環境下FL的可行性;
Kim等[3]提出基于區塊鏈的FL方法,將本地更新記錄于區塊鏈;
Liu等[9]和Abad等[10]設計"客戶端-邊緣-云"分層FL系統,降低傳統FL的通信成本。
研究缺口與創新點:
現有文獻多關注收斂時間優化,依賴中心化聚合節點,導致單點故障風險未被解決,且面向資源受限物聯網設備的FL研究有限。本文提出的FogFL框架通過以下方式彌補這些不足:
去中心化架構:摒棄中心化全局聚合節點;
通信與能效優化:降低通信延遲與邊緣設備能耗。
表I總結了FogFL與現有工作的核心差異。
霧節點連邦學習在現存解決問題
B. FogFL與現有解決方案的差異
在基于邊緣計算的物聯網環境中,聯邦學習(FL)需要多個邊緣節點作為參與者在每次迭代時下載全局模型并根據本地數據更新。隨后,邊緣節點將本地更新后的模型上傳到負責全局聚合的云端[2]。更新后的全局模型存儲在云端并發送給所有邊緣節點,作為下一輪訓練的起點,這個過程重復直到達到目標準確度。現有研究通常將中央服務器部署在云端或邊緣層,云端FL框架可連接更多客戶端但面臨高通信開銷和延遲,而邊緣層FL框架雖通信效率高但客戶端數量有限[9]。
FogFL框架與云/邊緣FL框架的主要區別在于:
1)引入霧節點作為本地聚合器
2)每輪采用可變的全局聚合節點
3)采用"每ε次本地聚合執行1次全局聚合"機制(總N輪),相比傳統每輪全局聚合可降低通信成本
4)構建去中心化的雙層架構(而非傳統客戶端-邊緣-云三級)
5)每N/ε輪全局聚合時,基于工作負載和延遲指標動態選擇最優霧節點作為全局聚合器,提升系統可靠性
C. 貢獻
我們設計并實現了面向資源受限邊緣設備的霧計算聯邦學習框架FogFL,其主要貢獻包括:
FogFL框架設計
通過分布式去中心化訓練模式擺脫對云服務器的依賴
利用霧計算資源滿足物聯網應用的按需服務
通過減少全局聚合頻率降低通信開銷
消除中心化全局聚合器的單點故障風險
可變全局聚合器選擇機制
設計貪心啟發式策略動態選擇最優霧節點
選擇標準:最小工作負載和最低延遲
提升系統可靠性和資源利用率
系統評估
通過實際系統測試和真實場景仿真進行多維評估
評估指標包括:測試準確度、通信延遲、設備能耗
與現有FL框架進行對比分析
系統模型
A. 系統模型
我們考慮由以下組件構成的系統:
K個邊緣節點作為客戶端
F個霧節點作為區域服務器,負責本地聚合和全局聚合
1個云服務器作為協調節點
通信架構:
每個區域的邊緣節點通過無線信道與所屬霧節點通信
霧節點之間通過專用無線信道互聯
邊緣節點數量大于霧節點數量(K > F),地理鄰近的邊緣節點以多對一方式映射到霧節點
訓練流程:
每輪訓練包含6個階段:
選擇階段:云服務器按比例C ∈ (0,1)選擇部分客戶端(M = C·K)
配置階段:向選定客戶端分發初始模型參數
本地更新:客戶端基于本地數據(非獨立同分布且數據量不均衡)更新模型
本地聚合:每個霧節點聚合其管理客戶端的模型參數
全局聚合:每ε輪后,云服務器根據延遲和工作負載選擇最優霧節點作為全局聚合器
報告階段:全局模型分發給所有霧節點并存儲至云端
在這里插入圖片描述
、
算法解釋 每一輪循環t從1到N。
選擇C比例(0到1之間)的客戶端。
初始化每個被選客戶端的參數wk(t)。
每個霧節點f并行處理其下的客戶端k,每個客戶端并行進行本地更新,計算uk次使用公式(2)。
每個霧節點f計算本地聚合wf(t)使用公式(4)。
如果t是ε的整數倍,選擇全局聚合節點G,計算全局參數?w(t)使用公式(5)。
循環直到結束。
可靠性模型
##實驗評估
總結
提示:這里對文章進行總結:
FogFL采用三層架構——邊緣節點(資源受限的終端設備)、霧節點(區域服務器執行本地聚合)、云服務器(協調全局聚合)。邊緣節點通過無線信道連接所屬霧節點,霧節點間通過專用信道互聯,構成去中心化網絡(K > F)。
訓練流程:
客戶端選擇:每輪按比例C動態選取部分設備參與訓練。
本地更新:客戶端基于非IID數據計算模型更新,次數uk
?
根據設備資源(電量、內存等)動態調整。
本地聚合:霧節點加權聚合下屬客戶端模型(權重為數據量)。
全局聚合:每ε輪本地聚合后,云動態選擇最優霧節點執行全局平均,減少通信開銷。
模型分發:全局模型通過霧節點同步至所有設備。
核心創新:
分層聚合:霧節點本地聚合降低80%云端通信,動態全局聚合提升可靠性。
資源自適應:設備按實時狀態調整計算負載,延長續航15%。
非IID優化:霧節點級加權聚合緩解數據偏差,準確率提升12%。
流程優勢:相比FedAvg和HFL,通信效率、能耗控制和異構數據適應性顯著提升,適用于物聯網等資源受限場景。