在上一篇文章中，我們探討了多模態學習與CLIP模型的應用。本文將深入介紹聯邦學習（Federated Learning）這一新興的分布式機器學習范式，它能夠在保護數據隱私的前提下實現多方協作的模型訓練。我們將使用PyTorch實現一個基礎的聯邦學習框架，并在圖像分類任務上進行驗證。
一、聯邦學習基礎
聯邦學習是一種分布式機器學習方法，其核心思想是數據不動，模型動——參與方的數據保留在本地，僅通過交換模型參數或梯度來實現協同訓練。
1. 聯邦學習的核心組件
-
中心服務器（Coordinator）：負責協調訓練過程，聚合各客戶端模型
-
客戶端（Client）：擁有本地數據，執行本地訓練
-
通信協議：定義參數交換格式和加密方式
2. 聯邦學習的數學表達
典型的聯邦學習優化目標可以表示為：
3. 聯邦學習的優勢
| 優勢 | 說明 |
|---|---|
| 隱私保護 | 原始數據始終保留在本地 |
| 數據多樣性 | 利用分布在不同設備上的異構數據 |
| 降低通信成本 | 僅傳輸模型參數而非原始數據 |
| 合規性 | 滿足GDPR等數據保護法規 |
4. 聯邦學習的類型
-
橫向聯邦學習：客戶端擁有相同特征空間的不同樣本
-
縱向聯邦學習：客戶端擁有相同樣本的不同特征
-
聯邦遷移學習：客戶端間數據和特征空間都不同
二、聯邦學習實戰：圖像分類
我們將實現一個基于CIFAR-10數據集的橫向聯邦學習系統，模擬5個客戶端協作訓練圖像分類模型。
1. 環境配置
首先安裝必要庫：
pip install torch torchvision cryptography2. 基礎實現
2.1 數據分區與客戶端模擬
import torch
import torch.nn as nn
import torch.optim as optim
import torch.nn.functional as F
from torchvision import datasets, transforms
from torch.utils.data import DataLoader, Subset
import numpy as np
from collections import OrderedDict
from cryptography.hazmat.primitives import hashes
from cryptography.hazmat.primitives.kdf.pbkdf2 import PBKDF2HMAC
import os
import base64
?
# 設置隨機種子
torch.manual_seed(42)
np.random.seed(42)
?
# 設備配置
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
print(f"使用設備: {device}")
?
# 數據預處理
transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])
?
# 加載完整數據集
full_dataset = datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)
?
# 客戶端數量
NUM_CLIENTS = 5
?
# 非IID數據劃分（每個客戶端只獲取2類數據）
def non_iid_split(dataset, num_clients): class_indices = {i: [] for i in range(10)} for idx, (_, label) in enumerate(dataset)
