基于预处理眼底图像与优化卷积神经网络的稳健深度学习框架用于早期糖尿病视网膜病变检测

摘要

本研究介绍了一种基于深度学习的工作流程，利用预处理的眼底图像和优化的卷积神经网络架构实现糖尿病视网膜病变的早期检测，能够准确进行疾病分类，并提供可解释的病灶定位，适用于可扩展的临床应用。

摘要

糖尿病视网膜病变（DR）是全球范围内视力丧失的主要原因之一，尤其在血糖控制不佳的糖尿病患者中更为显著。通过自动化图像分析实现早期检测，已成为支持及时干预的一种可扩展解决方案。基于深度学习的模型，特别是卷积神经网络（CNN），在利用眼底图像进行DR检测方面已展现出巨大潜力。本研究旨在：（i）开发一种基于EfficientNetB0和DenseNet121的集成深度学习框架，用于五阶段DR分类；（ii）系统评估眼底图像预处理对诊断性能的影响；（iii）引入基于Grad-CAM的可视化解释以实现病灶定位；（iv）在保证计算效率的同时实现高诊断准确率，以适用于大规模筛查。研究整合了一个包含53,412张眼底图像的数据集，来源包括EyePACS、APTOS 2019以及中国 一家三级医疗中心。预处理步骤包括限制对比度自适应直方图均衡化（CLAHE）、伪影去除和归一化处理。采用迁移学习方法，以EfficientNetB0和DenseNet121为骨干网络，随后进行混合集成。模型评估指标包括准确率、宏平均AUC（macro-AUC）、敏感性、特异性和F1分数。使用Grad-CAM可视化病灶定位情况。该混合集成模型达到了91.2%的准确率、0.961的宏平均AUC、92.1%的敏感性以及0.913的F1分数。预处理使模型性能提升了3%-4%，而集成方法的表现优于单一CNN模型。Grad-CAM叠加图证实了病灶定位的准确性。模型性能同时在五阶段DR分级和二分类可转诊DR检测任务中进行了评估，以反映临床筛查的实际需求。本研究提出了一种具有临床可行性且具备可解释性的深度学习DR检测模型。未来的工作将包括在独立数据集上的外部验证、前瞻性真实世界评估，以及针对移动设备和即时检测筛查应用的模型优化（如剪枝和量化）。

引言

糖尿病视网膜病变（DR）是糖尿病的一种微血管并发症，至今仍是全球可避免性视力障碍的主要原因之一¹。慢性高血糖会损害视网膜毛细血管，导致血管通透性增加、微动脉瘤形成、出血、渗出，而在晚期阶段则出现新生血管增殖。若不及时干预，这些病变可能进展为玻璃体出血、牵拉性视网膜脱离以及不可逆的视力丧失^1,2。流行病学研究估计，约35%的糖尿病患者存在某种程度的DR，其中近10%的患者每年发展为威胁视力的视网膜病变²。全球趋势表明，在过去二十年中，DR的患病率显著上升。一项具有里程碑意义的荟萃分析报告指出，DR的患病率从21世纪初的13.6%上升至2020年的20%以上²。同样，威胁视力的DR和糖尿病性黄斑水肿的发病率也呈上升趋势，尤其在低收入和中等收入地区更为明显³。在农村及经济落后地区，眼科筛查服务获取受限，导致诊断和治疗延误⁵。

糖尿病视网膜病变（DR）的早期检测至关重要，因为在非增殖期阶段采取干预措施，例如局部或全视网膜激光光凝、玻璃体内抗血管内皮生长因子（anti-VEGF）治疗以及玻璃体切除术，可有效防止病情进展至视力丧失⁶。然而，传统的筛查项目通常依赖经过培训的专业人员对彩色眼底照片进行人工分级，这一过程资源消耗大，限制了筛查的可扩展性和及时覆盖能力⁵。远程眼科学项目在一定程度上弥补了这些不足，但仍受限于专家资源的短缺以及标准化成像协议的普及程度⁷。人工智能（AI）尤其是深度学习（DL）技术的进步，已催生出能够以高准确率和高速度从眼底图像中自动检测和分级DR的解决方案。卷积神经网络（CNN）可提取微动脉瘤、出血和渗出物等层次化特征，在基准数据集上的敏感性和特异性已超过90%^8,9。Gulshan et al. 和 Ting et al. 的标志性研究证明，深度学习算法在识别需转诊的DR方面可达到甚至超过专家级水平，为自主筛查系统的监管批准铺平了道路^8,9。后续研究进一步探索了迁移学习、集成建模以及混合卷积神经网络-循环神经网络架构，以提升模型在不同成像条件和患者人群中的泛化能力^10,11。

尽管这些结果令人鼓舞，但基于深度学习的糖尿病视网膜病变（DR）筛查在临床转化方面仍面临若干挑战。首先，实现稳健的模型性能需要大规模、标注良好的数据集，以涵盖成像设备、种族差异和疾病表现形式的多样性¹²。不同标注人员之间的标注不一致性进一步增加了模型训练与评估的复杂性。其次，图像预处理步骤（如通过CLAHE进行对比度增强、去噪和颜色归一化）会显著影响细微病灶的可见性，从而影响特征提取的可靠性¹³。第三，模型的可解释性仍是当前研究的热点；临床医生需要具备透明决策支持功能的工具，能够突出显示驱动算法预测的关键图像区域¹⁴。最后，尚需建立监管框架并开展成本效益分析，以指导人工智能工具在现有筛查路径中的整合，尤其是在资源有限的环境中¹⁵。本研究提出了一种综合性的深度学习框架，用于早期DR检测，该框架整合了优化的眼底图像预处理、最先进的卷积神经网络（CNN）架构以及迁移学习策略，以应对上述挑战。我们采用CLAHE和自动伪影去除方法来增强病灶对比度，随后对预训练的CNN主干网络进行微调，以利用大规模自然图像中的特征。因此，本研究提出了一种可解释的深度学习框架，用于早期DR检测，该框架将优化的眼底图像预处理与高效的集成CNN架构相结合（图1）。本研究的主要贡献包括对预处理策略的系统性评估、计算高效的混合集成模型的设计，以及引入视觉可解释性以支持临床解读。通过同时解决准确性、透明性和可部署性问题，本研究旨在推动人工智能辅助DR筛查的实际应用。DR根据临床标准分为五个阶段：无DR、轻度、中度、重度非增殖性DR和增殖性DR。早期阶段以微动脉瘤和轻度出血为特征，而晚期阶段则表现为广泛的血管损伤、新生血管形成以及视力丧失的风险。患者在疾病晚期之前通常无明显症状，因此自动化筛查对于早期干预至关重要。

图1：本文所述工作的图示 请点击此处查看此图的放大版本。

为应对这些挑战，本研究提出了一种用于糖尿病视网膜病变（DR）检测的结构化深度学习方案，该方案在一个统一的工作流程中整合了标准化的眼底图像预处理、优化的卷积神经网络训练以及可解释的模型输出。该方案通过明确描述预处理策略、模型架构和训练配置，旨在提高研究的可重复性和方法学透明度。通过强调计算高效的轻量级集成模型，并引入基于Grad-CAM的可视化解释，所提出的方法构建了一个实用且可解释的框架，可用于在异质性、多中心的视网膜影像数据集上进行一致性的评估。

方案

本研究涉及一项回顾性分析。根据机构和国家规定，由于未获取或使用任何可识别的患者信息，正式的伦理委员会批准和知情同意被豁免。

1. 数据来源与获取

1. 根据国际临床糖尿病视网膜病变（ICDR）严重程度分级标准（0-4级）¹⁰重新标注所有图像，以确保来自EyePACS、APTOS 2019和三级医疗队列的数据集之间的一致性。
2. 将已有注释的数据集原始标签映射到ICDR分级标准，以保持统一性。
3. 由两名具有糖尿病视网膜病变（DR）筛查经验的经委员会认证的眼科医生独立对所有眼底图像进行分级。
4. 对两名分级者完全设盲，隐藏数据集来源、患者标识符、临床病史及模型预测结果，以最大限度减少评估偏倚。使用匿名文件标识符以随机顺序呈现图像。
5. 严格按照ICDR严重程度分级标准（0-4级）进行分级。
6. 在达成共识标注前，采用Cohen加权kappa系数（κw）并使用二次权重计算评分者间的一致性，以反映DR严重程度分级的有序性质。
7. 根据标准阈值解释一致性强度（κ < 0.20，极差；0.21-0.40，一般；0.41-0.60，中等；0.61-0.80，高度；> 0.80，接近完美）。通过联合共识评审解决分歧性分级结果，并将共识分级作为模型训练与评估的最终参考标准。
8. 在模型训练前，将所有图像标准化为统一的512 × 512像素分辨率和一致的色彩空间，并应用相同的预处理流程，以减少因相机设备、采集协议和照明条件差异导致的数据集间变异。
   注：具体而言，预处理包括：(i) 图像缩放和RGB标准化；(ii) 绿色通道CLAHE以增强对比度；(iii) 通过圆形掩膜和自适应阈值法去除背景伪影；(iv) 通道级强度归一化；(v) 使用高斯滤波和非锐化掩膜进行降噪和边缘增强。
9. 在常规临床筛查条件下，使用多种商用彩色眼底相机（Topcon、Canon和Zeiss）获取眼底图像（图2）。
10. 允许不同设备的图像采集参数有所变化，但在典型筛查范围内保持标准化，包括30°–45°的视野范围、原始图像分辨率约2,048 × 1,536至3,872 × 2,592像素，以及24位色深（RGB每通道8位）。
11. 采用散瞳和非散瞳成像方案，以反映真实世界筛查实践。在可变照明条件下采集所有单视野、黄斑中心眼底照片，并在模型训练前通过相同流程对图像进行缩放和预处理（图2）。
12. 使用前根据HIPAA指南对所有图像进行匿名化处理^12,13,14。
    注：每只眼仅使用一张图像，以避免个体内偏倚。排除符合以下一项或多项预定义质量标准的图像：(i) 对焦不良或模糊，导致视网膜血管和微动脉瘤不可见，依据边缘清晰度和血管可见性评估；(ii) 超过25%视网膜区域受运动模糊或失焦影响；(iii) 视野缺失，定义为视盘或黄斑区显示不完整；或(iv) 严重的照明伪影（如过饱和或阴影），干扰病变可见性。
13. 由两名评审员独立进行质量评估，并通过共识解决任何分歧。
    1. EyePACS数据集：使用从Kaggle获取的EyePACS数据集，包含所有可用的彩色眼底图像，并保留随数据集元数据提供的DR分级。
    2. APTOS 2019数据集：使用从Kaggle获取的APTOS 2019数据集，包含约3,600张在标准化筛查条件下采集的单视野彩色眼底图像。
    3. 印度临床数据集：使用一家医院提供的印度临床数据集，包含彩色眼底图像。记录总图像数量，并采用合格眼科医生分配的DR分级作为参考标签。

图 2：显示糖尿病视网膜病变不同阶段的代表性彩色眼底照片。 请点击此处查看该图的放大版本。

2. 预处理（CLAHE、归一化、伪影去除）

1. 采用多阶段预处理流程，以增强病灶的可见性，并减少因成像条件不同导致的图像差异。
2. 将每张彩色眼底图像调整为 512 × 512 像素，以保持深度学习模型输入尺寸的一致性。
3. 在每张眼底图像的绿色通道上单独应用对比度受限的自适应直方图均衡化（CLAHE）进行对比度增强，因为该通道能提供最佳的血管和微动脉瘤对比度。
4. 使用 OpenCV 库实现 CLAHE，设置剪切限制值为 2.0，以防止噪声过度放大；采用 8 × 8 的分块网格大小，以实现视网膜区域的局部对比度增强。
5. 将处理后的绿色通道与红色和蓝色通道重新组合，重建增强后的 RGB 图像。固定所有 CLAHE 参数，并在训练集、验证集和测试集的所有图像上统一应用，以确保可重复性。
6. 随后，使用通道级归一化方法将图像归一化为零均值和单位方差。
7. 利用圆形掩膜和自适应阈值法去除黑边背景伪影和光照晕轮等背景干扰。
8. 分别应用高斯滤波和非锐化掩膜以实现降噪和边缘保持。进行如下对比度增强和高斯滤波以抑制噪声：使用 5 × 5 的卷积核，标准差（σ）为 1.0，并在水平和垂直方向对称实施。
   注：此步骤可在保留细微血管结构的同时降低高频噪声。
9. 通过从原始图像中减去模糊版本的图像来执行非锐化掩膜，以增强病灶边界。
10. 具体而言，从原始图像中减去一张高斯模糊图像（卷积核大小为 5 × 5，σ = 1.0），以 1.5 的锐化权重将所得的细节图像重新加回原始图像，从而生成最终的锐化输出。
11. 固定所有参数，并在所有数据集上统一应用。
12. 包含以下附加预处理步骤，以模拟真实世界中的图像变异性并增强训练数据：
    1. 以 0.5 的概率对每张训练图像进行随机水平翻转，以考虑视网膜左右解剖对称性。
    2. 以 0.5 的概率进行随机垂直翻转，确保涵盖眼底图像采集过程中常见的方向变化。
    3. 在 -15° 至 +15° 范围内均匀采样，以 0.7 的概率进行随机旋转，以模拟相机轻微倾斜和患者头部移动。
    4. 以 0.5 的概率在原始图像尺寸的 ±10% 范围内进行随机缩放，随后通过中心裁剪或填充恢复输入分辨率为 512 × 512 像素。
    5. 以 0.4 的概率在 0.9–1.1 的因子范围内随机调整亮度，通过缩放像素强度来模拟不同成像设备间的光照差异。
    6. 以 0.4 的概率在 0.9–1.1 的因子范围内随机调整对比度，以提高模型对曝光差异的鲁棒性。
    7. 确保所有数据增强仅应用于训练集，并在模型训练过程中实时执行，而验证集和测试集图像保持未经增强。
    8. 在整个训练过程中保持固定的增强参数，以确保可重复性，并使模型稳定地暴露于受控的变异性中。
13. 使用 Python 的 OpenCV 和图像处理库实现上述预处理步骤，并确保在训练集和验证集上进行一致的图像变换。

3. 模型架构（CNN 变体，优化的层级）

1. 探索多种用于糖尿病视网膜病变（DR）分类的卷积神经网络（CNN）架构，并研究以下三种模型变体。
   1. 基础CNN——一种自定义的6层CNN，包含批归一化、ReLU激活函数、最大池化和dropout（p = 0.5）。
   2. 迁移学习模型——预训练的CNN主干网络，包括ResNet50、EfficientNetB0和DenseNet121，使用ImageNet权重初始化，并在DR图像上进行微调。
   3. 优化混合模型——一种集成模型，结合了EfficientNetB0和DenseNet121的特征提取器，后接一个具有softmax输出的多层感知机（MLP）。
   4. 微调后，为每个预训练模型构建分类头，依次包括全局平均池化层、一个具有ReLU激活的全连接层（512个单元）、一个dropout层（p = 0.5）以及一个softmax输出层。
   5. 在每个模型的分类头之前添加一个全局平均池化（GAP）层。
   6. 为减少过拟合，在分类头的所有全连接（密集）层上应用L2权重正则化，正则化系数（λ）设为1 × 10⁻⁴。该值的选择旨在有效惩罚大权重，同时在微调过程中保持模型的收敛性和分类性能。
   7. 在分类层中采用softmax激活函数，以实现5类DR预测。
   8. 基础模型的设计选择基于先前研究，这些研究证明了混合模型和基于迁移学习的方法在视网膜图像分析中具有更优性能^3,4。
   9. 在优化的混合集成模型中，使用EfficientNetB0和DenseNet121作为并行特征提取器。
   10. 将输入的眼底图像同时送入两个预训练主干网络，并在各网络的全局平均池化（GAP）层之后提取最终的卷积特征图。
   11. 将得到的特征向量进行拼接，形成统一的表示，并输入到一个包含两个全连接层（具有ReLU激活和dropout）的MLP中，最后通过softmax输出层完成五类DR分类。
   12. 采用这种晚期融合策略，整合EfficientNetB0的细粒度特征效率与DenseNet121的密集特征传播能力，从而在早期和晚期DR阶段均实现均衡的性能表现。
   13. 利用MLP实现互补特征表示的非线性融合，同时相比端到端融合方式降低过拟合风险。

4. 模型训练与优化（迁移学习、超参数）

1. 所有实验均在运行 Ubuntu Linux（版本 20.04 LTS）并配备 Python 3.8.10 的工作站上进行。
2. 使用 TensorFlow 2.10.0 搭配 Keras 后端实现深度学习模型，并在 NVIDIA Tesla V100 GPU（32 GB VRAM）上执行。
3. 使用与指定 TensorFlow 版本兼容的 CUDA Toolkit 11.2 和 cuDNN 8.1 版本启用 GPU 加速。
4. 使用 OpenCV 4.7.0、NumPy 1.23 和 imgaug 0.4.0 实现所有预处理和数据增强步骤。
5. 将数据集划分为训练集（70%）、验证集（15%）和测试集（15%），并确保每个子集中的类别分布均衡。
6. 在配备 32 GB VRAM 的 NVIDIA Tesla V100 GPU 上训练所有模型。
7. 通过冻结预训练网络的初始层，并在眼底图像上微调顶层，利用迁移学习策略。
8. 随机初始化最终的全连接层，并从头开始训练。
9. 优化以下超参数：
   优化器：Adam，β1=0.9，β2=0.999
   学习率：1 × 10⁻⁴，配合 ReduceLROnPlateau 调度器
   批大小：32
   训练轮数：50–100，采用早停机制（耐心值 = 10）
   损失函数：分类交叉熵
10. 根据最小验证损失保存模型检查点。
11. 通过在训练过程中应用与类别频率成反比的分类权重，解决类别不平衡问题。
12. 使用 Keras ImageDataGenerator 实时进行数据增强。采用五折交叉验证策略以确保模型的稳健性并最小化选择偏差。对所有折次的性能指标取平均值，并报告对应的标准差。
13. 根据医学图像分类中迁移学习的既定最佳实践选择超参数，并通过在验证集上进行初步的先导实验加以验证。
14. 使用 Adam 优化器，因其具有稳定的收敛性和自适应学习率特性，并将初始学习率设为 1e−4，以在微调过程中平衡训练稳定性与收敛速度。
15. 通过经验确定批大小和早停准则，以在保持计算效率的同时最小化过拟合。

5. 评估指标与验证（AUC、准确率、灵敏度/特异度）

1. 使用标准分类指标评估模型性能。在独立测试集上（n ≈ 8,000 张图像）进行主要评估，并报告五分类任务和二分类任务（可转诊糖尿病视网膜病变 vs. 不可转诊糖尿病视网膜病变）的结果。
2. 计算以下指标：
   准确率（Accuracy）：所有类别中正确预测所占的百分比
   受试者工作特征曲线下面积（AUC）：分别计算每一类的AUC并取平均值（宏平均AUC）
   灵敏度（Sensitivity，召回率Recall）：真阳性率 = TP / (TP + FN)
   特异度（Specificity）：真阴性率 = TN / (TN + FP)
   F1分数（F1-Score）：精确率与召回率的调和平均值
   混淆矩阵（Confusion Matrix）：5 × 5 矩阵，用于分类误差分析
3. 绘制受试者工作特征（ROC）曲线和精确率-召回率曲线，以可视化模型的判别能力。
4. 对一部分正确分类和错误分类的图像生成Grad-CAM（梯度加权类激活映射）可视化结果，以突出显示驱动模型预测的视网膜区域。
   注：优化后的混合模型在可转诊糖尿病视网膜病变检测中表现最佳，宏平均AUC为0.961，灵敏度为92.1%，特异度为89.4%，总体准确率为91.2%。
5. 在相同数据集上将模型性能与已发表的现有模型进行基准比较，并使用配对t检验和McNemar检验评估统计显著性。
6. 使用交叉验证折中的配对t检验对连续性指标（AUC、准确率、F1分数）以及在测试集上的配对分类结果使用McNemar检验，评估混合集成模型与各个独立CNN架构之间性能差异的统计显著性。
   注：混合模型在准确率和AUC方面均显著优于所有单一主干模型，p值< 0.05，表明观察到的性能提升并非由随机波动引起。精确率是糖尿病视网膜病变筛查中的关键评估指标，尤其重要的是减少可能导致不必要转诊、患者焦虑以及增加医疗负担的假阳性预测。精确率定义为所有被预测为阳性的样本中真正正确预测的比例，表达式如下：
   Precision=TPTP+FP\text{Precision} = \frac{TP}{TP + FP}Precision=TP+FPTP
   其中 TP 表示真阳性，FP 表示假阳性。
7. 在糖尿病视网膜病变检测背景下，高精确率可解释为被分类为存在糖尿病视网膜病变的图像确实包含病理学征象，从而提高自动化筛查系统的可靠性。应强调该指标在大规模人群筛查中尤为重要，因为过多的假阳性会压垮转诊系统。本研究中，将评估每一级糖尿病视网膜病变以及二分类可转诊糖尿病视网膜病变检测的精确率，以全面评估模型准确区分病理病例与健康对照的能力。

结果

数据集概述与预处理影响

经过整理的数据集包含53,412张彩色眼底图像，分布于五类糖尿病视网膜病变（DR）严重程度：无DR（0）占39.2%，轻度（1）占18.4%，中度（2）占22.5%，重度（3）占12.1%，增殖性DR（4）占7.8%。数据来源于EyePACS、APTOS 2019以及一家中国三级眼科中心，确保了种族、成像条件和相机规格的多样性。

预处理显著增强了病灶的可见性。在绿色通道上应用对比度受限自适应直方均衡化（CLAHE）提高了局部对比度，特别是对微动脉瘤和出血的显示效果更佳。通过掩膜和阈值分割进行背景伪影去除，成功消除了超过94%的黑色边框和光照晕影。归一化处理实现了不同数据集间一致的像素强度分布，降低了设备间的差异性。

通过翻转、旋转、缩放以及亮度/对比度抖动，数据增强将训练集规模扩大了3.5倍。这一步骤对于提升模型的泛化能力并在训练过程中减少过拟合至关重要。

讨论

在本研究中，我们开发并严格评估了一种结合 EfficientNetB0 与 DenseNet121 的混合集成模型，该模型通过迁移学习进行微调，并结合经典预处理步骤（CLAHE、伪影去除和强度归一化），用于五类糖尿病视网膜病变（DR）分级。该集成模型表现出卓越的性能：在可转诊 DR 检测中，准确率达到 91.2%，宏平均 AUC 为 0.961，F₁ 分数为 0.913，敏感度为 92.1%（见第6节）。这些指标显著优于基线 CNN 模型（准确率约 83.4%，宏平均 AUC 约 0.88）以及单独使用的 ResNet50、EfficientNetB0 和 DenseNet121 等骨干模型。我们的结果与 Gulshan 的标志性研究相比具有优势。 等 在 JAMA，该研究在 EyePACS 和 Messidor-2 数据集上使用基于超过 128,000 张图像训练的十个 InceptionV3 架构卷积神经网络集成模型进行可 referral 糖尿病视网膜病变检测，报告 AUC ≈ 0.99，灵敏度和特异性达到人类水平¹⁶尽管我们的混合模型尚未达到这种...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
眼底相机（Topcon，Canon，Zeiss）	拓普康 / 佳能 / 蔡司		用于在不同照明条件下拍摄高分辨率彩色眼底照片
NVIDIA Tesla V100 GPU	NVIDIA 公司	Tesla V100	32 GB VRAM；用于训练深度学习模型
Python（OpenCV、imgaug 库）	开源社区		图像预处理，包括CLAHE、伪影去除、归一化、数据增强
TensorFlow 2.10 + Keras	谷歌大脑		用于卷积神经网络模型构建与训练的深度学习框架
EfficientNetB0 &和使用预训练骨干网络的 DenseNet121	开源（TensorFlow/Keras Applications）		用于糖尿病视网膜病变分类的基于ImageNet预训练的迁移学习骨干网络