用于非共址与异构数据集的智能联邦学习框架

摘要

本方案描述了一种智能联邦学习框架的实施方法，用于在异构、非共址的数据集上训练分布式机器学习模型，同时保护数据隐私并实现模型可解释性。

摘要

联邦学习在保护隐私的同时进行分布式模型训练方面具有巨大潜力，但由于非共置数据集的异质性，其在收敛性、公平性和可解释性方面面临挑战。本研究提出了一种智能联邦学习框架（IFLF），通过采用包含数据层、客户端层、聚合层、适应层、优化层和可解释性层的多层架构的自适应方法，以应对这些挑战。

该框架在非独立同分布数据条件下表现出稳定的收敛性，聚合策略支持均衡优化。学习率调制方法通过整合异构客户端的更新并减少优化过程中的发散，有助于实现稳定的训练。引入了SHAP和LIME等可解释性人工智能技术，以提升客户端和全局层面的透明度。

IFLF 在四个基准数据集上进行了评估（FEMNIST（视觉）、FLamby（医疗影像）、FedGraphNN（图学习）和 CICIDS2017（网络安全））。该框架实现了 92.8% 的平均准确率，并在客户端之间表现出更快的收敛速度和更低的性能波动。

引言

来自移动设备、医疗系统、工业传感器和信息物理基础设施的分布式数据快速增长，使得人们对能够保护数据隐私的协作式机器学习技术的需求日益增加。传统的机器学习方法依赖于集中式的数据整合，即将来自不同来源的数据集收集并存储在单一存储库中。尽管这种方法便于模型训练，但引发了关于数据隐私、法规合规性以及通信开销的担忧。联邦学习（Federated Learning, FL）被认为是一种极具前景的方法，它允许多个客户端在不暴露本地数据的情况下共同训练一个全局模型¹。在这种去中心化的学习框架中，客户端训练本地模型，仅将模型更新发送至中央服务器。该方法在降低隐私风险的同时，支持在分布式环境中进行协同模型开发^2,3。

然而，联邦学习在实际部署中面临一些局限性。其中一个主要挑战是统计异质性，即客户端数据集遵循不同的分布。非独立同分布（Non-IID）的数据分布会显著影响联邦优化中的收敛稳定性和模型泛化能力⁴。为解决这一问题，已有多种方法被提出。FedProx 引入了近端正则化项，以在异构客户端之间稳定训练过程⁵。FedNova 通过调整因客户端参与不平衡引起的优化目标不一致性来提升性能⁶。此外，研究者还提出了服务器端的自适应优化策略以改善收敛性⁷，而 SCAFFOLD 则采用方差缩减技术来缓解分布式优化过程中的客户端漂移问题⁸。

近期研究探索了聚类与个性化技术，以应对联邦环境中的异质性问题。聚类联邦学习框架将具有相似数据分布的客户端进行分组，以提升训练一致性与模型性能^9,10。个性化联邦学习方法（如 Ditto 和 FedAMP）旨在平衡全局模型性能与客户端特定的适应能力^11,12。类似地，pFedMe 和 Per-FedAvg 等方法采用基于正则化的微调策略实现客户端级别的适应^13,14。其他方法如 FedRep 和 FedRoD 则分离全局表示与客户端特定表示，以实现独立的联邦训练^15,16。

联邦学习中的另一个挑战是资源异构性和系统可扩展性。在大规模分布式系统中，客户端通常具有不同的计算能力和通信带宽。FedBN 通过本地批归一化来解决特征分布异构性问题¹⁷。基于层级的联邦学习框架将客户端组织成层次化的训练层级，以管理资源差异¹⁸。客户端选择策略（如 HACCS 和 Oort）通过在训练过程中优先选择可靠的参与者来提高系统效率^19,20。FedScale 等基准测试平台支持对联邦学习算法进行大规模评估²¹。

通信效率是联邦学习中的另一个关键问题，因为分布式客户端之间需要频繁交换模型更新。现有方法包括通信高效的训练策略，如周期性平均和模型量化²²，以及模型压缩技术。知识蒸馏通过传递紧凑的表示形式并在保持性能的同时降低通信开销²³。其他方法包括减少客户端参与度，以及在分布式训练中应用压缩技术²⁴。优化方法如Quped和FetchSGD进一步解决了通信和内存效率方面的挑战^25,26。

除了优化与通信之外，可解释性已成为联邦学习系统的一个重要方面。可解释人工智能（XAI）方法（如 SHAP 和 LIME）可为模型预测提供特征级别的解释。这些技术有助于在医疗保健和网络安全等关键领域理解模型行为^27,28。近期研究表明，将可解释性融入联邦学习系统能够提升系统的透明度与可信度^29,30。

本研究提出一种智能联邦学习框架（IFLF），旨在提升异构联邦环境中的收敛稳定性、公平性、通信效率及可解释性。该框架在统一架构中集成了基于可靠性的聚合机制、自适应优化机制以及可解释人工智能技术。

该框架采用多层系统结构，包含数据层、客户端层、聚合层、适配层、优化层以及可解释性层。智能聚合机制结合客户端的可靠性与相似性指标，以确定自适应权重。自适应学习率调节机制支持在异构客户端分布下实现稳定的优化。可解释性组件能够对分布式环境中的模型预测提供解释。

本研究探讨了智能聚合、自适应学习率调节以及可解释性机制在异构联邦学习环境中的影响。评估了聚合策略如何影响收敛稳定性与模型性能，自适应学习率调节如何在数据异构条件下支持训练，以及可解释性技术如何提升模型透明度。所提出的智能联邦学习框架分为五层——数据层、客户端层、聚合层、自适应与优化层以及可解释性层，能够在分布式环境中实现高效且稳定的联邦训练。评估采用了多个基准数据集，涵盖了收敛行为、公平性、通信效率和可解释性等关键性能方面。

分布式客户端在私有数据集上进行本地训练，并将加密的模型更新传输至中央服务器。服务器评估客户端的可靠性与相似性，计算聚合权重，并更新全局模型。自适应学习率调整支持稳定的收敛，而可解释人工智能方法则提供可解释的输出。本文其余部分组织如下：相关工作部分回顾了异构联邦学习的最新进展；协议部分描述了所提出框架的实现；结果部分展示了实验发现；讨论部分概述了其意义及未来研究方向。

相关工作
近期研究已针对跨不同数据模态和应用领域的异构联邦学习展开探讨。基于原型引导的联邦学习方法通过共享代表性原型而非原始数据，实现分布式机构间的协作³¹。FedGraphNN 为图神经网络场景下的联邦学习算法提供了基准测试平台³²。OpenFGL 支持在多种联邦学习场景中进行大规模基准评估³³。FLamby 提供了满足严格隐私约束的跨孤岛医疗数据集，用于联邦学习研究³⁴。

系统级框架也已开发出来，以支持可扩展的联邦学习部署。Flower 提供了一个灵活的基础设施，用于在分布式环境中实现和评估联邦学习算法³⁵。已有研究提出动态蒸馏方法，以提升模型在非均匀数据分布下的性能³⁶。此外，综述性研究强调了联邦学习系统中与异构性、可扩展性和可解释性相关的关键挑战³⁷。这些研究共同表明，在实际应用中实现鲁棒的联邦学习，亟需统一的框架来整合自适应聚合、优化策略和可解释性机制。

方案

概述
开发了一种智能联邦学习框架（IFLF），以高效管理非共址环境中的数据和系统异质性。该系统架构包含五个层级：数据层、客户端层、聚合层、适应与优化层以及可解释性层。各模块部署于一个分布式计算环境中，包含一个中心聚合服务器和多个客户端节点。节点间通过安全套接层连接（SSL/TLS）进行通信，以确保隐私性和数据完整性。以下流程用于准备数据集、搭建架构、执行联邦训练以及评估可解释性。

计算环境配置
通过安装实现联邦学习框架所需的软件框架来配置计算环境。使用 Python 作为模型开发和实验的主要编程语言。安装了 TensorFlow 或 PyTorch 等机器学习库用于神经网络训练，同时安装了 NumPy、Scikit-learn 和 Pandas 等附加库用于数据预处理和分析。安装了 Flower 或 PySyft 等联邦学习库以模拟分布式客户端环境。计算环境配置在配备 GPU 加速的工作站上（如具备条件）。所有客户端和聚合服务器均配置为通过安全套接字连接（SSL/TLS）进行通信。在启动联邦训练之前，已验证所有所需数据集均可在各客户端节点的本地存储中访问。用于复现本实验方案所需的软件框架、数据集和计算环境汇总于材料表中。

联邦节点的初始化
使用 Flower 联邦学习框架配置中央聚合服务器。通过以下命令启动聚合服务器：

python server.py --rounds 100 --clients 10 --secure_connection True

使用以下命令在独立的终端或计算环境中启动各个客户端节点：
python client.py --client_id 01

通过使用 OpenSSL 工具包生成 SSL/TLS 证书来配置安全套接字通信。
openssl req -x509 -newkey rsa:4096 -keyout key.pem -out cert.pem -days 365

通过在配置文件中指定证书路径，启用了服务器与客户端之间的安全通信。在启动联邦训练过程之前，通过执行一次测试通信循环来验证连接性。

数据集准备与描述
选取了具有代表性的公开数据集，以评估不同领域和数据模态下的性能表现。FEMNIST 是一个用于手写字符识别的高级 MNIST 数据库，包含 62 个类别（A–Z、a–z、数字 0–9），其中每个客户端代表一位书写者的数据，从而形成自然的非独立同分布（non-IID）数据分布。FLamby 是一个医学影像基准数据集，由多个跨院所的医学数据集（例如心脏 MRI、组织病理学图像）组成，每个医院或机构作为一个联邦客户端。FedGraphNN 是面向图神经网络的基准数据集，涵盖引文网络、分子分类和社会图谱等任务，其中客户端包含不同的子图或节点特征。CICIDS2017 是一个用于入侵检测的网络安全数据集，包含 DDoS、端口扫描（PortScan）和僵尸网络（Botnet）等多种攻击类型下的网络流量流超过 80 个特征，每个客户端代表一个独立的网络域或传感器。

数据集统计信息
为确保联邦学习设置的可重复性，本文总结了实验中所用数据集的关键特征。FEMNIST 包含约 805,263 个手写字符样本，分布在 3,550 名书写者之间，共 62 个类别，代表大写字母、小写字母和数字，每个客户端对应一名书写者，平均拥有约 200–300 个样本。FLamby 提供跨孤岛式医疗健康数据集，本研究中的医学影像数据集包含从多家医院收集的约 20,000 个样本，每家医院作为一个独立的联邦客户端。FedGraphNN 包含多个图学习数据集，例如引文网络和分子图，通常包含数千个节点和边，节点特征向量的维度根据任务不同在 50–500 之间变化。CICIDS2017 包含约 280 万条网络流量流，从中提取了 80 个网络数据包的统计特征，包含多种攻击类型，如 DDoS、端口扫描和僵尸网络流量，每个联邦客户端代表不同的网络环境或监控传感器。本研究使用的所有数据集发布于 2017 至 2023 年间，均可公开获取，用于联邦学习研究。实验中所用数据集的统计特征总结于表 1中。

数据集	领域	样本数	特征	类别	客户端	发布年份
FEMNIST	视觉（手写字符）	805,263	图像像素（28×28）	62	3,550	2017
FLamby	医疗影像	约 20,000	图像特征	二分类 / 多分类	5	2023
FedGraphNN	图学习	约 10k–100k 个节点	50–500 个节点特征	依任务而定	7	2021
CICIDS2017	网络安全	约 280 万条流	80	多种攻击类别	10	2017

表1：智能联邦学习框架实验中所用数据集的汇总。 该表格总结了本研究中所用数据集的特征，包括应用领域、样本总数、特征数量、类别数量、联邦客户端数量以及数据集发布年份。这些统计信息概述了用于评估该框架的异构数据模态。

客户端级别异质性
通过数据集划分引入客户端级别异质性。尽管使用了来自不同领域的四个数据集进行评估，但在每个联邦数据集中，均通过客户端级别的划分引入异质性。每个数据集被分配给多个客户端，导致各客户端本地数据分布不一致（非独立同分布，non-IID）。将不同子集的样本或类别分配给各个客户端，以模拟真实联邦学习场景，体现每个数据集内部的统计异质性。每个客户端分配到约总体数据集的5%–10%，同时保持类别不平衡，以模拟现实世界中的非独立同分布联邦环境。本研究中“异质数据集”一词指的是客户端级别的统计异质性，而非独立实验数据集之间的差异。基准数据集表现出多种形式的统计异质性，包括FEMNIST中个体书写风格的差异、FLamby数据集中成像协议和患者人口学特征的差异、FedGraphNN数据集中的结构变化，以及CICIDS2017中多样的网络流量模式，共同构成了具有挑战性的、逼真的非独立同分布数据分布，用以检验联邦优化算法的性能。

特定数据集的预处理
在联邦训练之前，执行了特定数据集的预处理操作，以标准化输入格式。对于 FEMNIST，手写字符图像被转换为灰度图，调整大小至 28×28 像素，并归一化到区间 [0, 1]，同时移除损坏或不完整的样本，类别标签进行独热编码，并根据书写者 ID 组织样本，使得每个书写者对应一个联邦客户端。对于 FLamby，医学图像被调整为 224×224 像素，使用数据集特定的均值和标准差进行归一化，通过水平翻转、旋转和对比度调整等技术进行数据增强，并根据医院标识进行划分。对于 FedGraphNN，通过定义节点特征、邻接矩阵和边关系来构建图结构，对节点特征向量进行归一化，将图数据转换为稀疏邻接表示形式，并将图按子图形式划分到各个客户端。对于 CICIDS2017，移除了重复记录，使用均值填补缺失值，对类别特征进行编码，应用特征归一化，并通过分层抽样平衡正常流量与攻击流量。每个客户端数据集被划分为 80% 训练集、10% 验证集和 10% 测试集，确保类别分布得以保留。客户端数据集存储在独立的文件夹中（Client_01、Client_02、…），并出于隐私保护目的限制本地节点的访问权限。

智能联邦学习框架（IFLF）的架构
智能联邦学习框架被组织为五层架构，包括数据层、客户端层、聚合层、适应与优化层以及可解释性层，如图1所示。该架构的各层按顺序传递信息。在根据客户端归属对异构数据集进行准备和划分后，数据层将信息传递至客户端层，在该层对本地模型进行训练并生成模型更新。这些更新被发送到聚合层，由可靠性与相似性指标指导加权客户端贡献的聚合。适应与优化层通过根据梯度方差调整学习率参数，确保全局训练过程的平稳进行。最后，可解释性层利用SHAP和LIME等可解释的人工智能方法对全局模型进行解释，并生成预测结果的解释。

图1．智能联邦学习框架的架构。 该框架分为五层：数据层、客户端层、聚合层、自适应与优化层以及可解释性层。来自非共址且异构的客户端的数据在本地进行处理，根据可靠性与相似性进行聚合，自适应地优化，并使用SHAP或LIME进行解释。箭头表示客户端与中央服务器之间的迭代通信，构成联邦学习循环。请点击此处查看该图的放大版本。

数据层
数据集根据客户的所有权和隐私要求进行划分，并为每位客户维护独立的存储位置。采用不同的预处理流程，并对特征进行归一化处理，以确保跨领域的输入格式标准化。

客户端层
建立了代表设备、组织或机构的分布式客户端，每个客户端均获得一份以相同参数初始化的全局模型的相同副本。使用各客户端特定的数据集进行本地训练，优化方法包括随机梯度下降或 Adam，仅传递模型参数或梯度以保护数据隐私。

聚合层
一个中心聚合单元从所有客户端接收加密的模型更新，并在聚合前评估其可靠性和相似性。基于验证性能的可靠性评分用于确定客户端更新的重要性，更新之间的相似性则通过聚类或余弦相似度等方法进行评估。随后执行加权聚合，并将更新后的全局模型重新分发给各客户端。

适应与优化层
根据各客户端的训练进展，动态调整了优化参数。通过调度学习率以降低更新的方差，并应用了近端正则化和自适应加权等额外技术，以缓解客户端漂移并提高收敛稳定性。

可解释性层
采用 SHAP 和 LIME 等可解释人工智能方法生成特征归因分数和模型解释。输出结果包括特征重要性排序、归因图谱和可视化解释，结合领域特定知识对这些结果进行解读，以确保模型的透明性。

联邦训练
通过在中心聚合服务器上初始化全局模型，实现智能联邦学习框架，随后定义训练超参数，包括学习率、通信轮数和本地训练周期数。全局模型参数被分发至所有客户端，各客户端随后使用其私有数据集进行本地训练。计算本地训练损失和验证准确率，并生成模型更新，在传输至聚合服务器前对更新进行加密。基于验证性能，使用公式 1 评估客户端更新的可靠性。

（1）

其中 Acc_i  表示客户端 i 的验证准确率。

使用梯度向量的余弦相似性（如公式 2 所定义）来计算客户端更新之间的相似性。

 (2)

其中 g_i 和 g_j 分别表示不同客户端的梯度向量。

通过结合可靠性得分和相似性得分来计算自适应聚合权重，如公式3中所定义。

 (3)

每个客户端的自适应聚合权重通过结合可靠性评分和相似性评分来确定。可靠性指标反映了本地客户端模型的验证准确率，而相似性指标则衡量了客户端梯度更新之间的余弦相似度。

因此，聚合权重 w_i 优先选择那些既表现出可靠的验证性能，又在更新方向上与全局优化目标保持一致的客户端。

归一化权重确保了所有参与客户端的总贡献之和为1，从而在全局模型更新中保持了稳定性。

权重经过归一化处理，使得 。

全局模型更新
客户端模型通过加权平均进行聚合，如公式 4 所示。

 (4)

其中 M_i 表示客户端 i 的局部参数。

更新后的全局模型参数已广播至所有客户端。

自适应学习率调节
在通信轮次中监控了客户端梯度的方差。学习率根据公式 5 进行动态调整。

 (5)

其中 Var(g) 表示客户端之间的梯度方差。

在下一轮本地训练周期中应用了更新后的学习率。自适应学习率由中央聚合服务器控制，并在后续的训练轮次中全局应用于所有客户端。这一全局调整在考虑客户端更新差异的同时，确保了优化行为的一致性。由于学习率的调节在服务器端进行，所有参与的客户端会与广播的全局模型参数一同接收更新后的学习率。

联邦学习性能评估
使用聚合的测试数据集评估全局模型准确率，如公式 6 所示。

 (6)

其中，TP 表示真阳性预测数，TN 表示真阴性预测数，FP 表示假阳性预测数，FN 表示假阴性预测数

通过计算客户端准确率的方差来衡量各客户端之间的公平性。

通信成本计算为在所有通信轮次中，客户端与聚合服务器之间传输的模型参数总数。因此，总通信开销的估算如公式7所示。

 (7)

其中，R 表示通信轮数，C 表示客户端数量，S 表示模型大小。

使用SHAP计算全局特征重要性分数，并使用LIME生成单个预测的局部解释，从而进行模型可解释性分析。通过可视化特征归因结果来解读模型行为。

故障排除
当客户端数据集高度异构或类别分布极度不平衡时，会出现收敛不稳定的情况。在此类情况下，可通过减少本地训练轮数或降低初始学习率来稳定梯度更新。由于客户端分布严重偏斜，在聚合过程中少数客户端可能占据主导地位，可通过调整可靠性加权阈值或增加参与客户端的多样性来缓解该问题。网络中断导致的客户端不可靠参与会破坏通信轮次，因此启用部分参与机制，允许聚合服务器利用可获得的客户端更新继续执行。当模型正则化过度或在数据不足的情况下训练时，可能出现解释性失败或特征归因不一致的问题，此时需验证数据预处理步骤，并确保在模型收敛后生成 SHAP 或 LIME 解释结果。

模型初始化、本地训练、智能聚合、自适应优化和可解释性分析的迭代过程如图2所示，该图表示智能联邦学习框架（IFLF）的整体工作流程。

图 2．智能联邦学习框架的工作流程。 该图展示了包括初始化、本地训练、聚合、自适应优化和可解释性在内的各阶段迭代循环，阐明了该框架的端到端运行过程。请点击此处查看此图的放大版本。

性能评估
计算了包括准确率、精确率、召回率和 F1 分数在内的全局与局部指标。通过各客户端局部准确率的方差来衡量公平性。通信效率通过每轮通信中传输的数据量进行评估。模型性能与典型的联邦学习基线方法（如 FedAvg、FedProx 和 FedOpt）进行了对比。结果通过收敛曲线、混淆矩阵和可解释性图示进行展示。所有实验设置、日志和检查点均被保存，以确保可重复性。

工作流程概述
IFLF 循环通过持续重复本地训练、智能聚合、自适应优化和可解释性分析来执行。在将数据保留在本地节点的同时实现协同模型优化，从而保障数据隐私。这些步骤结合了机制，以应对分散客户端之间的公平性、透明性和性能问题。

结果

概述
本研究中报告的所有实验结果均基于五次独立运行的平均值，每次运行采用不同的随机初始化和客户端采样配置，以确保结果的稳健性。性能指标（包括准确率、精确率、召回率和 F1 分数）以均值 ± 标准差的形式呈现。各次运行之间的标准差保持在较小范围内（通常为 ±0.5% 至 ±1.2%），表明所提出的框架在异构联邦设置下具有稳定且一致的性能。

智能联邦学习框架（IFLF）在四个基准数据集 FEMNIST、FLamby、FedGraphNN 和 CICIDS2017 上进行了测试，以评估其泛化能力、公平性和可解释性。所有实验均在一个模拟的联邦环境中进行，该环境包含一个中心聚合服务器和十个代表独立机构或设备的分布式客户端节点。所有实验均在同步联邦学习设置下进行，其中参与的客户端在每轮通信中并行执行本地训练，并将模型更新发送至中心服务器。服务器在每轮结束时聚合所有接收到的更新，以计算全局模型，然后将该模型广播回客户端以进行下一轮迭代。为反映实际部署条件，允许部分客户端参与，即每轮仅有一部分可用客户端贡献更新。IFLF 的有效性与基线联邦算法（包括 Fe...

讨论

所提出的智能联邦学习框架（IFLF）解决了联邦学习在异构和分布式环境中面临的挑战。在四个数据集上的系统性评估表明，将聚合与自适应优化相结合，能够提升收敛稳定性和全局模型性能。该框架通过在聚合过程中引入客户端的可靠性与相似性，降低了不一致更新的影响，同时在全局优化过程中赋予更可靠的客户端贡献更高的权重。与 FedAvg、FedProx 和 FedOpt 等基线联邦学习算法相比，该方法实现了更高的准确率和更快的收敛速度。

自适应学习率调节机制有助于在客户端数据分布异构的情况下实现稳定的训练。固定的优化参数可能导致在客户端数据特征各异的联邦学习环境中出现振荡。自适应学习率根据通信轮次中客户端更新的变化情况动态调整优化步长，减少梯度不一致性，从而在视觉、医疗健康、图学习和网络安全等领域实现更平滑的收敛。

通过聚合策略，通信效率和客户端公平性也得到了提升。该框架通过评估可靠性和相似性指标，在模型聚合过程中平衡客户端的贡献，即使在数据分布异构的情况下也能实现这一目标。观察到的通信开销降低表明，自适应参与和加权聚合能够在保持模型性能的同时减...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
CICIDS2017 数据集	加拿大网络安全研究所	公开数据集	入侵检测
FedGraphNN 数据集	FedGraphNN	公开数据集	图学习
FEMNIST 数据集	LEAF 基准	公开数据集	视觉数据集
FLamby 数据集	FLamby 项目	公开数据集	医疗数据集
Flower	Flower 框架	1.6	联邦学习模拟
GPU 工作站	NVIDIA	RTX GPU	模型训练
NumPy	NumPy 开发团队	1.26	数值计算
Python	Python 软件基金会	3.1	编程语言
Scikit-learn	Scikit-learn	1.3	机器学习工具
TensorFlow / PyTorch	Google / Meta	最新版	深度学习框架