基于多机构电子健康记录（EHRs）的安全死亡风险预测的对抗鲁棒联邦学习

摘要

本研究提出一种用于多机构电子健康记录死亡风险预测的对抗鲁棒联邦学习（AR-FL）模型。该模型融合了极小-极大对抗训练、领域感知注意力机制和隐私保护聚合方法，以增强模型的鲁棒性、适应性及数据保密性，从而构建适用于异构医疗环境的安全、可靠且具有可推广性的临床决策支持系统。

摘要

电子健康记录（EHR）是实现数据驱动临床决策的主要数据来源。然而，由于EHR具有敏感性，且医疗行业存在严格的隐私保护政策，使得集中式模型训练变得困难甚至不可行。为此，本文提出一种对抗性鲁棒联邦学习（AR-FL）模型，用于在不同医疗机构之间预测患者死亡风险，同时无需共享原始EHR数据。本研究的主要目标是建立一种安全、可重复且可扩展的流程，以在多样化的临床环境中训练具备隐私保护能力且对抗性强的预测模型。该研究在每个机构中采用极小-极大对抗训练方法，以增强模型对最坏情况扰动的鲁棒性。同时引入一种领域感知注意力机制，动态适应机构内临床特征分布的差异。为保障数据机密性，在联邦通信过程中采用隐私保护方法聚合模型更新，防止敏感患者信息泄露。本研究详细说明了从数据预处理、对抗样本生成到本地训练、安全聚合以及全局模型评估的完整流程，可在多种医疗环境中实现一致性的实施。实验验证结果表明，AR-FL模型在预测性能、对抗鲁棒性以及跨机构泛化能力方面均表现出优越性。通过建立标准化的训练与评估流程，本研究支持可靠且符合伦理规范的临床决策支持系统的开发。

引言

联邦学习（Federated Learning, FL）作为一种变革性的范式，通过在分散的电子健康记录（EHR）数据上实现协作式模型训练，同时无需共享原始患者信息，从而保护医疗数据分析中的隐私。该方法有助于缓解数据孤岛问题和监管限制，并在死亡率预测等任务中提升预测性能。然而，尽管具备上述优势，联邦学习系统仍易受到对抗性攻击和投毒攻击的威胁。图1展示了联邦学习在分布式临床机构间的协作架构与工作流程。

图1：通用联邦学习架构及其在医学影像中的应用。 本图展示了标准的联邦学习工作流程，包括去中心化的数据存储、本地模型训练以及安全的服务器端模型聚合，并展示了其在医学影像分析中的应用。请点击此处查看该图的高清版本。

医疗健康数据分析的最新进展表明，深度学习模型在处理大规模电子健康记录（EHR）数据方面具有显著效果。先前的研究¹表明，利用原始临床数据，深度学习能够实现准确且可扩展的预测。此外，Miotto 等人²综述了在医疗系统中部署深度学习所面临的广泛机遇与挑战。同时，诸如 ClinicalBERT³ 等领域特定的创新方法提升了对临床文本的理解能力与预测性能，而 MIMIC-III⁴、MIMIC-IV⁵ 和 eICU⁶ 等基准数据集则为重症监护研究中的可重复性与大规模评估提供了支持。

联邦学习作为一种能够在不损害数据隐私的前提下实现协作式医疗健康分析的解决方案，已受到广泛关注。已有研究^7,8探讨了其在数字健康发展中的作用，以及相关的挑战和尚未解决的研究问题。此外，联邦学习已在真实世界的医疗健康场景中展现出实际应用价值，包括多机构协作⁹以及针对新冠肺炎患者临床结局的预测¹⁰。然而，数据异质性等问题仍然十分突出。为应对这一挑战，研究人员提出了针对异构环境的优化策略¹¹，以及诸如FedBN¹²等方法，后者利用本地批归一化技术，以提升模型的收敛性与泛化能力。

由于日益面临对抗性威胁，联邦学习中的安全性和鲁棒性已成为关键问题。对抗样本的概念¹³表明，微小的扰动即可以高置信度误导深度学习模型。在联邦学习环境中，后门攻击¹⁴和模型投毒等威胁进一步加剧了这些漏洞。为应对这些风险，研究人员已提出具备抗对抗能力的聚类联邦学习方法，以及基于对抗训练的鲁棒优化技术^15,16。此外，已开发出结合梯度提升与LSTM模型的安全通信框架¹⁷，以缓解中间人攻击。同时，DBAFL等先进架构^18,19旨在防御分布式环境中的投毒攻击。

隐私保护在联邦医疗系统中仍然是一个基本要求。通过基于生成对抗网络（GAN）的攻击，协同训练的模型可能会泄露敏感信息，这凸显了固有的隐私风险²⁰。为缓解此类问题，已引入安全聚合协议²¹和差分隐私技术²²，以确保分布式学习中的机密性。此外，已有研究提出基于区块链的解决方案^23,24，用于安全的电子健康记录（EHR）管理和数据共享，另有研究^25,26,27,28进一步扩展这些方法，以提升医疗系统的互操作性、安全性和效率。

人工智能在医疗领域的快速发展也推动了混合智能模型和集成系统的开发，从而提升了预测性能和决策能力。以往的研究还探讨了人工智能在医学中的变革性作用²⁹，以及机器学习系统中的对抗性攻击与防御机制^29,30。

尽管取得了这些进展，现有研究仍然较为零散。许多联邦学习模型未能引入对抗鲁棒性，因而容易受到攻击。此外，领域异质性问题常常未能得到充分解决，限制了模型在不同机构间的泛化能力。隐私保护机制通常孤立地实施，缺乏与鲁棒性及领域自适应策略的整合，导致医疗人工智能系统的完整性与可靠性不足。为解决这些局限性，本文提出一种集成的对抗鲁棒联邦学习框架，该框架结合了对抗训练、领域感知注意力机制和安全聚合方法。所提出的方法能够增强对攻击的鲁棒性，提升在异构临床环境中的适应能力，并确保患者数据隐私，从而为真实世界中的多机构医疗应用提供全面的解决方案。

方案

所提出的方 法
所提出的对抗性鲁棒联邦学习（AR-FL）模型旨在跨不同医疗机构安全且协同地预测患者死亡风险，同时保护数据隐私并增强系统对对抗性扰动的抵御能力。该部署包含四个主要组成部分：（1）联邦学习结构，（2）基于极小-极大优化的对抗训练，（3）领域感知注意力机制，以及（4）隐私保护的参数聚合。该方法按照专为对抗性鲁棒联邦学习设计的系统化流程执行，以估算死亡风险。如图2所示，该流程首先从多个医疗机构获取数据，随后进行数据预处理，以标准化特征并处理缺失值。中央服务器首先创建一个全局模型，然后将其发送至各医疗机构。在医疗机构内部进行本地对抗训练，以提升模型对扰动的鲁棒性，同时使其适应特定领域的数据。训练完成后，各本地模型的参数通过安全的参数聚合方式被安全地传输至服务器。服务器整合这些本地模型的贡献以更新全局模型。该过程通过多次迭代优化重复进行，以实现模型的协同优化。最终，通过临床基准对模型进行严格评估，以衡量其预测性能、对抗鲁棒性以及跨机构的泛化能力。

图 2：提出的 AR-FL 模型。 本图展示了所提出的对抗鲁棒联邦学习模型的整体架构，包括对抗训练、领域感知注意力机制以及隐私保护的安全聚合。 请点击此处查看该图的放大版本。

数据收集
本研究使用了两个公开可用的电子健康记录（EHR）数据集：MIMIC-III⁴ 和 eICU 协作研究数据库⁶。MIMIC-III 提供了来自一家大型医院的超过 40,000 次重症监护室（ICU）住院记录，而 eICU 数据则包含了来自美国多家医院的超过 200,000 次 ICU 住院记录。这些数据流中记录的患者人口统计学信息、临床测量值、实验室检测结果、图表事件及结局，使其在死亡风险预测任务中具有很高的应用价值。EHR 数据集被划分为多个部分，以构建一个符合现实情况的多机构联邦学习环境；每个部分代表一家不同的医院或机构。该方法能够捕捉不同机构之间在患者特征、临床诊疗规范、记录方式以及数据可获得性方面的差异。每个模拟机构仅能访问其自身的数据子集，且不向中央服务器或其他参与客户端共享任何原始记录。这种方法在确保完全符合隐私保护原则的同时，也模拟了医院间协作在实际应用中的局限性。死亡标签从数据集中标明的结局字段中提取，例如院内死亡指标。这些标签作为联邦学习模型的预测目标。因此，每个机构均保有与死亡结局相关联的本地患者特征记录集，从而实现去中心化的模型训练，同时不泄露敏感的患者信息。

数据预处理
在模型训练开始之前，每个机构独立处理其本地的电子健康记录（EHR）数据。由于联邦学习不允许参与机构之间共享任何患者级别的数据，甚至不允许共享汇总统计信息，所有预处理步骤均在各机构本地进行，并仅基于该机构自身数据集中的信息。预处理流程包含若干关键步骤。首先，对生命体征、实验室检测结果和生理测量值等数值型临床变量进行归一化处理，以消除不同变量取值范围的差异，并提高模型收敛的稳定性。用于归一化的统计量仅基于各机构本地数据计算得出。其次，对性别、入院类型或诊断类别等分类变量，采用独热编码（one-hot encoding）或机构特定映射等方法转换为数值表示形式。因此，联邦模型能够在无需共享编码字典或跨机构参考表的情况下处理分类数据。第三，针对临床数据集中常见的缺失数据问题，各机构采用本地填补技术进行处理。根据特征类型和临床背景，机构可选择均值填补、基于先前观测值的前向填充，或基于规则的临床替代方法。由于每个机构独立执行数据填补，因此无需外部元数据或共享的填补参数。完成上述步骤后，各机构均可生成一个完整的、经过处理的特征数据集，并关联相应的死亡结局标签。这些本地数据集随后作为联邦模型训练的输入。在整个预处理流程中，原始数据、衍生统计量或中间输出均不会传输至机构外部，从而确保严格遵守隐私保护的数据管理规范。

模型初始化
设 K {1, 2, …, K} 为参与的机构（客户端）集合，其中每个机构拥有一个本地数据集。{ ，其中 表示输入的电子健康记录（EHR）特征，而 为对应的死亡率标签（二分类或类别型）。一个全局模型 在所有客户端上协同训练，其中 θ 为共享的模型参数。

该过程遵循标准的联邦平均（FedAvg）协议：
中央服务器初始化全局 参数并进行广播。每个客户端 k∈K 使用其本地数据进行训练，并将模型更新为 。服务器通过计算加权平均值来整合这些更新：

^， 其中 n = 

中心服务器初始化和本地训练步骤将持续进行 T 轮全局通信。

局部对抗训练（最小-最大优化）
为了提高模型的鲁棒性，每个客户端在其本地站点上进行对抗训练。客户端不再仅仅在干净数据上最小化经验风险，而是求解一个最小-最大优化问题：

(x+δ),y)

L：损失函数
δ：受约束的对抗性扰动
S：对抗性威胁空间
(x+δ)：在扰动输入下的预测

在每个本地训练周期中，利用投影梯度下降法（PGD）或快速梯度符号法（FGSM）生成对抗样本。随后，模型使用这些样本进行训练，以提高其鲁棒性。

领域感知注意力机制
来自不同机构的电子健康记录（EHR）数据在数据分布、特征语义和临床实践方面可能存在巨大差异。为解决这一问题，AR-FL 模型在其架构中引入了特定于领域的注意力模块。

设 为来自机构 k 的输入向量。每个特征 j∈ {1..., d} 的注意力权重 按如下方式计算：

 = 

为可训练的注意力权重。输入被重新加权为：

通过该机制，模型能够根据机构所使用数据的特点，突出对临床实践重要的特征，从而提高其适应性和可解释性。

隐私保护参数聚合
AR-FL 采用高度安全的聚合方法，并在需要时结合差分隐私技术，以在通信过程中维持最高级别的隐私保护。安全聚合：用户以特定方式加密其模型更新，使得服务器仅能计算总和，而无法获知各个单独的贡献。

差分隐私：向模型更新中添加噪声：

其中 σ 控制隐私性与准确性的权衡。

在分布式更新过程中，这些方法可确保私有患者数据或机构信息不会面临泄露风险。

全局模型更新
各机构完成本地训练阶段后，中央服务器将收集客户端提交的模型更新。这些更新仅包含模型参数的变更，不包括任何原始患者数据或中间特征表示。为了整合来自各个机构的知识，服务器采用联邦平均（Federated Averaging, FedAvg）方法。在此过程中，服务器根据各机构可用数据量对本地模型进行加权平均计算。贡献较大数据集的机构对更新后的全局模型具有相应更大的影响。由于更新是通过安全聚合技术传输的，服务器无法查看或分离任一单个机构的参数，而只能获得加密或隐私保护的联合表示形式。这确保了训练过程的机密性，并消除了可能被检测到的任何机构特有模式或患者特征。在完成聚合更新的计算后，服务器生成一个代表该通信轮次中所有协作机构总体知识的新全局模型。随后，该新全局模型被发送回每个机构，以启动下一轮本地对抗训练。

迭代优化
联邦学习是一个多阶段过程，涉及多个通信轮次。每一轮包括本地模型训练、安全发送更新、全局聚合以及将优化后的模型分发给各参与方。通过反复进行这些轮次，模型逐步趋近于一个稳健且稳定的解决方案。在这些轮次中，每个机构贡献其对自身患者人群的知识，从而构建出能够在不同医疗环境中识别临床模式的模型。需要注意的是，对抗训练和领域感知注意力机制有时会在每轮的本地训练过程中实现。因此，模型持续得到优化，其抵御对抗攻击的能力不断增强，同时适应不同机构间特征分布差异的能力也逐步提升。通过迭代优化，模型不仅提升了泛化性能，而且对数据不平衡、机构间差异以及对抗性环境的容忍度越来越高。该过程持续进行，直至达到预设的通信轮次数或全局模型表现出稳定的收敛状态。

评估
在所有通信轮次结束后，使用来自各参与方数据集的独立测试集对最终的全局模型进行全面评估。由于这些测试集未参与模型训练，因此能够提供对模型性能的公平且无偏的衡量。通过从多个角度计算不同的指标来评估模型的有效性。清洁准确率（clean accuracy）用于评估模型在正常条件下的表现，衡量其对死亡结局预测的正确性。相比之下，对抗准确率（adversarial accuracy）用于评估当输入数据以对抗方式被篡改时，模型仍能维持其性能的程度。受试者工作特征曲线（ROC）下的面积（AUC-ROC）反映了模型区分存活与死亡患者的能力。F1 分数作为精确率与召回率之间关系的指标，对于不平衡的临床数据集尤为重要。泛化差距（generalization gap）揭示了模型在不同机构间性能的差异，从而体现其适应多样化数据来源的灵活性。最后，通过模拟对抗性攻击来量化隐私风险，以验证安全聚合和可选的差分隐私机制是否确实有效保护了患者隐私。上述所有评估指标共同提供了关于模型预测能力、对抗攻击抵抗能力、跨机构稳定性以及隐私保护合规性的全面图景。下方算法 1（补充文件 1）展示了用于死亡风险预测的对抗鲁棒联邦学习（Adversarial Robust Federated Learning, AR-FL）方法。

结果

在两个公开可用、去标识化、多机构的电子健康记录（EHR）数据集上测试了AR-FL模型：MIMIC-III和eICU协作研究数据库，这些数据集包含多种重症监护病房（ICU）患者的住院死亡结局记录。该数据集分布在模拟的医院场景中，以反映各机构在数据特征方面的实际差异。每个客户端（机构）使用其自身的私有EHR数据分别训练一个独立模型，并通过具有差分隐私的安全平均方法获得聚合的全局模型。

实验设置
AR-FL 模型评估采用了一种贯穿模拟联邦客户端始终的、具有一致性、可重复性且计算稳健的实验设置。模型开发、对抗训练与联邦优化的整个过程均使用 PyTorch 和 NVIDIA Tesla V100 GPU 实现，并辅以 CUDA Toolkit，以高效执行前向传播、梯度计算以及基于 PGD 的对抗性扰动生成。去标识化的 MIMIC-III 和 eICU 协作研究数据库为主要的重症监护病房（ICU）数据集，被划分为五个机构特定的数据孤岛，以模拟真实世界中多医院、非独立同分布（non-IID）的数据分布情况。每个客户端分别对其本地电子健康记录（EHR）子集...

讨论

本文提出了一种对抗鲁棒的联邦学习（Adversarial-Robust Federated Learning, AR-FL）模型，旨在通过提高准确性、鲁棒性和泛化能力，利用多机构电子健康记录（EHRs）增强死亡风险预测。研究结果表明，在联邦学习环境中引入对抗训练可显著提升模型性能，使其对输入扰动及不同机构间的领域差异更具抵抗力。这些新发现与以往研究一致，先前研究已表明，对抗优化可提升模型在临床预测任务中的稳定性³¹，而联邦学习能够在保障患者隐私的前提下实现多中心协作。领域感知的注意力机制进一步增强了模型，使其能够在特征层面适应各机构特有的模式，这与现有文献一致：缓解领域偏移确实可提高基于电子健康记录建模的预测可靠性³²。这些贡献证实，AR-FL 是当前各类新兴方法中最安全且最具优势的方案，能够在不危及患者隐私的前提下实现分布式临床智能。

本研究的核心假设是，采用对抗方法进行分离和训练的模型比标准的联邦学习或集中式模型更具鲁棒性，这一假设可通过不同的方法学途径加以验证。一种简单的比较方法是...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
Adam 优化器	PyTorch	https://pytorch.org/docs/stable/generated/torch.optim.Adam.html	优化
CUDA 工具包	NVIDIA	https://developer.nvidia.com/cuda-toolkit	版本 11.8；GPU 加速
差分隐私库	Opacus	https://opacus.ai	版本 1.3.0；基于差分隐私的保护训练
eICU 协作研究数据库	PhysioNet	https://physionet.org/content/eicu-crd/2.0/	ICU 患者电子健康记录数据
MIMIC-III	PhysioNet	https://physionet.org/content/mimiciii/1.4/	ICU 患者电子健康记录数据
PGD 攻击脚本	GitHub	https://github.com/Saswati-C/AR-FL-HER	版本：commit-hash；对抗样本生成
PyTorch	PyTorch.org	https://pytorch.org	版本 2.0；模型实现与训练
Tesla V100 GPU	NVIDIA	https://www.nvidia.com/en-us/data-center/v100/	模型训练