方法文章

一种基于可解释人工智能的迁移学习方法用于乳腺癌预测

DOI:

10.3791/70011

2026年6月22日

本文内容

摘要

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

开发了一种基于 EfficientNet-B0 和 Grad-CAM 的可解释迁移学习协议,用于将乳腺超声图像分类为良性、恶性和正常三类,并提供适用于临床决策支持应用的可解释诊断热图。

摘要

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

通过超声图像进行乳腺癌识别需要高准确性和透明度,以协助临床医生做出适当决策。本研究展示了一种基于EfficientNet-B0架构的深度学习系统,该系统在乳腺超声识别(BUSI)数据集上进行微调,用于将乳腺超声图像分类为良性、恶性和正常图像。为缓解类别不平衡问题并稳定网络训练,采用了包括随机水平翻转、旋转和颜色抖动在内的数据增强方法。利用梯度加权类激活映射(Grad-CAM)生成可视化解释,识别出肿瘤边界和纹理模式等感兴趣区域。该模型平均准确率达到99%,在病灶检测中表现出高效性。可解释人工智能(XAI)的引入不仅提高了诊断可信度,也弥合了临床实践与人工智能之间的差距。结果证明,将高性能深度学习模型与可解释性方法相结合,在开发适用于实际临床应用的可靠乳腺癌诊断工具方面具有巨大潜力。

引言

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

乳腺癌是全球女性中最严重的威胁生命的疾病之一。根据世界卫生组织(WHO)的数据,乳腺癌导致了大多数与癌症相关的死亡,而早期诊断对于提高生存率至关重要1。超声成像已成为乳腺癌常规诊断手段,因其安全性高、成本低廉,并能提供实时图像。与乳腺X线摄影相比,超声在区分实性肿块和含液体的病灶方面极为有效,因此在乳腺病变存在时可作为出色的诊断辅助工具。然而,超声图像的解读具有高度主观性,依赖于高水平的专业经验,容易导致诊断结果的变异性及可能的人为误差。

近年来,人工智能与深度学习在医学图像分析自动化方面展现出强大的能力。基于深度学习的模型,尤其是卷积神经网络(CNNs),在目标分割、检测与分类任务中表现卓越。2然而,人工智能在医疗保健领域的应用受到以下因素的抑制: "黑箱" 这些模型的性质。术语 "黑箱" 指模型得出特定结论的过程缺乏透明度;尽管输入和输出是已知的,但模型内部的逻辑及其用于做出临床预测所依赖的具体特征对用户而言仍然不透明。

本研究的动机源于对可靠工具的迫切需求,以支持乳腺癌的早期诊断,而乳腺癌至今仍是全球女性死亡的主要原因。 尽管深度学习模型具有很高的有效性,但其缺乏可解释性限制了其在临床环境中的应用3。本研究通过采用EfficientNet-B0实现高性能分类,并结合可解释人工智能(XAI)技术(如Grad-CAM),为模型的决策过程提供可视化洞察,从而弥补上述不足。通过在透明性与准确性之间取得平衡,本研究旨在开发一种值得信赖的人工智能系统,为临床医生提供可靠的诊断支持。XAI方法揭示了模型预测背后的推理依据,使临床医生能够验证结果,弥合临床实践与自动化系统之间的鸿沟4。在乳腺超声分类中,这种可解释性确保了基于人工智能的诊断既准确又具有临床合理性。

尽管深度学习取得了进展,乳腺超声图像分类仍面临诸多挑战,包括类别不平衡问题,即恶性肿瘤等少数类别样本不足,导致模型产生偏差5。深度学习模型缺乏可解释性,使其在临床实践中难以应用,因为临床医生需要透明的决策过程。数据集的限制,如规模有限和多样性不足,制约了模型的泛化能力,而超声图像中复杂的图像特征(如肿瘤边界和纹理)也难以被有效学习6。针对上述问题的解决方案需要一个兼具鲁棒性和可解释性的框架,以确保高准确率,并对模型预测提供清晰的洞察7

本研究旨在开发一种深度学习框架,能够将乳腺超声图像分类为良性、恶性和正常三类,并通过针对少数类别的定向增强来提升模型的泛化能力。该框架整合了梯度加权类激活映射(Grad-CAM),以提供预测结果的可视化解释,并采用准确率、精确率、召回率和F1分数评估性能,证明其适合作为可解释的临床决策支持系统。与早期基于超声的乳腺癌可解释性研究主要将Grad-CAM用作事后可视化方法8不同,本研究提出的框架在训练阶段结合了病灶感知的预处理和类别感知的学习策略。在特征提取过程中,将乳腺超声图像(BUSI)数据集的真实标注掩膜叠加到超声图像上,以突出病灶边界和内部回声模式;同时对诊断样本较少的类别采用选择性增强方法,在不改变临床显著外观特征的前提下缓解类别不平衡问题9。这种结合病灶驱动的增强策略、EfficientNet-B0迁移学习以及Grad-CAM可解释性的方法,提升了诊断的鲁棒性,并生成与病灶形态一致的解释结果,从而验证了如下假设:基于解剖结构引导的病灶增强与可解释性设计,可使人工智能辅助的乳腺癌诊断更加可靠且值得信赖10

传统的医学影像主要依赖于传统的图像处理方法,通过滤波、分割和形态学操作来识别可用于诊断的可见结构11。然而,这些处理过程通常需要人工调参,且难以适应医学影像固有的变异性与复杂性。例如,乳腺超声图像的解读历来依赖于放射科医生的主观经验,对良恶性病变的识别依赖于视觉判断,容易出现人为误差或误判。

深度学习的兴起通过卷积神经网络(Convolutional Neural Networks, CNNs)的应用,推动了医学影像领域的变革性革命12。其中,EfficientNet-B0 是一项重要创新,采用复合缩放方法,在网络深度、宽度和分辨率之间实现平衡,从而达到高效且准确的计算性能。在乳腺超声成像的应用中,该模型利用逐级卷积层自动学习分层特征,有效避免了主观的人工特征提取过程,同时显著提升了诊断的准确性与可靠性13。尽管具有巨大潜力,深度学习在医学影像中的应用仍处于不断发展阶段,尚存诸多未解挑战。数据的质量与可获得性至关重要,因为深度学习模型需要大量标注图像的数据库,以确保良好的泛化能力。此外,这些模型的"黑箱"特性对临床接受度构成了显著障碍;训练数据中潜在偏倚引发的伦理问题,也可能导致诊断预测出现偏差或歧视性结果14。因此,相关研究必须建立严格的测试与验证流程,以确保模型的客观性与临床适用性。为应对这些局限,当前深度学习的发展重点在于提升模型的可解释性与鲁棒性。例如本研究所采用的梯度加权类激活映射(Gradient-weighted Class Activation Mapping, Grad-CAM)技术,能够可视化影响模型输出的关键图像区域,从而加深对模型行为的理解,并支持临床决策。此外,联邦学习框架的突破实现了机构间兼顾隐私的合作模式,可在不共享原始数据集的前提下利用异构数据。此类进展正逐步推动医学影像领域中更可靠、可解释且无偏倚的深度学习应用,最终提升临床判断标准与患者诊疗水平15

可解释医学决策系统的重要性16随着可解释人工智能领域的最新进展而日益凸显。基于融合的可解释框架通过结合多种特征表示和多种解释机制,展现出更优的分类性能与更高的透明度17。近期研究表明,将深度学习模型与XAI方法相结合,在乳腺癌诊断及其他医学预测任务中具有显著提升诊断可信度的潜力。这些研究支持临床医生在决策过程中同时具备高预测准确性与可解释推理能力的需求,这也与本研究旨在构建一种高效且易于理解的超声分类系统的目标相一致18

表1展示了文献综述及现有技术。

研究目标备注
Humayra Afrin 等人 (2023)19综述深度学习在乳腺肿块超声诊断与预后中的应用。病灶分类表现最佳,但关于预后的研究较少。
Gelan Ayana 等人 (2022)20综述用于乳腺癌化疗的超声引导纳米载体。超声响应型纳米载体可改善药物递送,但仍面临生理屏障。
Valerio Di Paola 等人 (2022)21分析用于乳腺癌准确淋巴结分期的影像学技术。MRI 和超声发挥关键作用,但假阳性/假阴性影响诊断准确性。
Adyasha Sahu 等人 (2024)22提出一种集成深度学习分类器用于乳腺癌检测。结合 AlexNet、ResNet 和 MobileNetV2,并采用 LoG 与高提升滤波,实现了高准确率。
Alireza Rezazadeh 等人 (2022)23开发一种基于超声图像的可解释性机器学习流程用于乳腺癌诊断。利用纹理特征与决策树集成,提升预测结果的可解释性。
Asaf Raza 等人 (2023)24开发 DeepBreastCancerNet 以实现鲁棒的乳腺癌检测。采用24层架构并结合多种优化策略,准确率达到99.63%。
Kiran Jabeen 等人 (2022)25提出一种基于 DarkNet-53 与特征融合的深度学习框架。采用优化的特征选择技术,实现了99.1%的准确率。
Gelan Ayana 等人 (2022)26开发多阶段迁移学习(MSTL)用于超声乳腺癌分类。基于医学图像的迁移学习结合 EfficientNetB2、InceptionV3 和 ResNet50,提高了分类准确率。
Saksham Gupta 等人 (2023)27使用改进的 ResNet50 进行超声乳腺癌分类。准确率达到97.8%,缩短了诊断时间,提高了早期检出率。
Karl Kratkiewicz 等人 (2022)28综述超声断层成像(UST)和光声断层成像(PAT)等先进成像方法。UST 和 PAT 通过定量成像增强了乳腺癌的检测能力。

表1:现有技术的文献与综述。

该建议模型基于深度学习在乳腺超声图像分类中的研究成果,克服了本领域研究的主要挑战,包括数据质量、模型可解释性以及计算效率。与以往依赖人工特征提取的传统技术不同,本研究采用了最新的 EfficientNet-B0 架构,该架构将网络深度、宽度和分辨率融合为最优工作方案。模型利用 Grad-CAM 可视化其预测结果的解释依据,从而提升模型的透明度和临床可信度。尽管当前包括集成模型和迁移学习在内的解决方案已达到很高的准确率,但这些方法往往难以解释,或需要大量计算资源。本研究工作弥补了这些不足,在保持高准确性(99)的同时实现了良好的可解释性,确保模型在临床决策的实际应用中可靠且可行。该方法聚焦于类别不平衡问题及实际应用需求,为人工智能驱动的乳腺癌诊断设立了新标准。

本研究使用了公开可用的BUSI数据集,该数据集为先前收集的一组匿名化临床影像。本研究未直接涉及人类受试者或动物,因此无需机构伦理批准(IRB/IACUC)。所有操作均遵循公开可用医学影像数据二次使用的通用标准。

访问受限。请登录或开始试用以查看此内容。

方案

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. 数据集特征

本研究使用了公开可用的乳腺超声图像(BUSI)数据集,该数据集为乳腺癌的分析与分类提供了记录完善的资源库29。该数据集尤为适用,因其包含大量超声图像,可用于建立和验证医学影像领域的深度学习模型。该数据集共包含来自600名年龄在25至75岁女性的780幅超声图像,代表了乳腺癌诊断中的多样化人群。所有图像的平均分辨率为500 × 500像素,并采用PNG格式以在分析中保留高质量的视觉数据。图1展示了所提出框架的整体工作流程,包括预处理、数据增强、EfficientNet-B0特征提取、分类以及Grad-CAM可解释性分析。

乳腺超声图像:良性、恶性、正常。肿瘤检测,诊断成像图表。
图1:BUSI 数据集的代表性样本。(A)良性,(B)恶性,和(C)正常图像。各图展示了用于训练的形态多样性。请点击此处查看此图的放大版本。

2. 实验流程

为确保可重复性,本研究按顺序执行了以下处理流程。首先,系统加载了BUSI超声图像及其对应的真实标注掩膜,并将其调整为224×224像素,随后进行ImageNet标准化处理。其次,框架将每幅图像与其掩膜叠加,以突出病灶区域,然后采用分层抽样方法将数据集划分为训练集(70%)、验证集(15%)和测试集(15%)。第三,研究对少数类别主要应用了针对性的数据增强,包括水平翻转、旋转(±15°)和颜色抖动。第四,研究人员对在ImageNet上预训练的EfficientNet-B0模型进行微调,将其最后的分类层替换为三类输出层。训练过程采用Adam优化器(学习率0.00005)、步进式学习率衰减(每7个epoch衰减系数γ = 0.1)、交叉熵损失函数、批量大小为8,并设置早停机制(耐心值为2)。最后,通过Grad-CAM从最后一个卷积层生成注意力热图,以可视化具有诊断意义的区域,辅助临床解释。材料表列出了重现本研究乳腺超声分类与可解释性框架所需的关键数据集、软件库和硬件配置。

BUSI 数据集表现出自然的类别不平衡,这是医学数据集中常见的特征。数据分布以良性类别为主,其次是恶性类别和正常类别。具体而言,该数据集中包含 487 张良性图像、210 张恶性图像和 133 张正常图像。尽管数据增强提高了训练过程中的多样性,但并未改变每个类别的基本样本数量。这种分布反映了真实世界中的临床情况,即良性病变的发生频率高于恶性肿瘤。虽然此类不平衡能够准确反映临床环境中乳腺异常的流行情况,但给深度学习训练带来了挑战,可能导致模型对少数类别的预测出现偏差,性能欠佳。因此,缓解这种类别不平衡对于构建一个在各类诊断类别中均能高效运行且具有有效性和泛化能力的模型至关重要。图 2 展示了该数据集中具有代表性的超声图像,呈现了良性、恶性和正常乳腺组织样本的示例。

包含预处理、特征提取、分类和Grad-CAM的深度学习工作流程图
图2:所提出模型的工作流程。 从输入和掩码叠加预处理到EfficientNet-B0训练及Grad-CAM输出的顺序流程。请点击此处查看此图的放大版本。

3. 数据预处理

该研究将所有图像调整为 224 × 224 像素,以符合 EfficientNet-B0 架构的标准输入尺寸。这种调整确保了数据集的一致性,并降低了计算需求,如公式 1 所定义。

图像缩放方程:I_resized = Resize(I_original, 224, 224);缩放过程示意图。     

该框架使用 ImageNet 数据集的均值和标准差对像素值进行归一化处理(均值为 [0.485, 0.456, 0.406],标准差为 [0.229, 0.224, 0.225])。此归一化方法通过方程 2 计算,用于缩放输入数据,以提高训练的稳定性和收敛速度。

标准分数公式 \(\hat{x}=\frac{x-\mu}{\sigma}\),统计分析方程。      

为了改进特征提取及感兴趣区域的识别,研究人员将原始图像与其对应的真值掩膜进行叠加。图3展示了真值病灶掩膜以及叠加后的超声图像,后者突出了肿瘤边界。

良性与恶性肿瘤分割、掩膜及叠加超声图像、诊断分析。
图3:掩膜与叠加图像。(A)原始超声图像,(B)真实掩膜,以及(C)用于突出肿瘤边界的叠加结果图像,以实现空间注意力提示。请点击此处查看该图的放大版本。

该叠加图像识别出关键区域,例如肿瘤边缘和纹理模式,为模型提供局部空间上下文信息,以提高分类准确性,如公式3所示。

公式:I_叠加 = I∙M + I∙(1-M);图像处理,叠加方法,公式。      

本研究仅在训练数据准备阶段使用了掩膜叠加操作,以在特征学习过程中补充病灶边界信息。相比之下,验证和推理阶段仅采用原始超声图像而不使用掩膜,保持了传统的图像分类流程。由于BUSI数据集中的二值分割掩膜所表示的结构已在超声图像中固有存在,因此并未引入新的类别标签。为防止信息泄露,本研究将数据集划分为训练集、验证集和测试集,确保各子集之间不存在图像或掩膜的重叠。因此,该叠加操作起到了空间注意力引导的作用,突出了具有解剖学意义的区域,同时不损害评估数据的独立性。

4. 数据增强

该研究采用针对性数据增强方法,以缓解训练集中恶性样本和正常样本等少数类别的类别不平衡问题。该框架利用多种变换方式,人为增加训练数据的多样性,从而提升模型在不同成像条件下泛化的能力。

首先,系统以 0.9(90%)的概率进行水平翻转,使模型能够不受扫描方向影响地识别特征。该变换遵循公式 4:

显示图像翻转过程的公式:\(I_{\text{flipped}} = \text{Flip}(I)\),方法示意图。      

其次,该研究在 ±15° 范围内应用随机旋转,以模拟扫描角度和患者体位的变化。此过程迫使模型学习旋转不变的特征,例如肿瘤边界和纹理模式,如公式 5 所定义:

图像旋转方程:I_rotated = Rotate(I, θ),图像变换过程的公式。      

第三,研究人员利用颜色抖动来模拟光照、对比度和色彩平衡的变化。该框架将亮度、对比度和饱和度调整了0.2的系数,色调调整了0.1的系数。这些随机调整提高了模型对表观变化的鲁棒性,根据公式6计算得出:

色彩调整方程;x_jittered=x+Δ_brightness+Δ_contrast+Δ_saturation+Δ_hue;公式图像。      

这些特定超参数范围的选择(水平翻转 0.9,旋转 +15 和 -15,亮度/对比度/饱和度 0.2,色相 0.1)基于经验稳定性评估得出。研究确定,这些设置在多样性生成与解剖学真实性之间实现了最佳平衡,确保了稳定的收敛性和可靠的验证准确率,同时避免了病灶形变失真。

5. 模型架构

本研究采用了EfficientNet-B0,这是一种现代卷积神经网络(CNN)模型,相较于其他图像分类架构,以其高效性、可扩展性和优异性能而著称。该模型采用了一种按比例同时扩展网络深度、宽度和分辨率的方法,从而在显著减少参数数量的同时实现了高精度,相较于ResNet和VGG等标准架构具有明显优势。这种缩放方法使框架能够处理高分辨率图像,同时保持计算效率,满足医学影像分析的特定需求。图4展示了EfficientNet-B0的网络架构,重点呈现了用于分层特征提取的卷积层和MBConv模块的序列结构。

使用 MBConv 层进行图像处理优化的神经网络架构示意图。
图 4:EfficientNet-B0 架构。 用于分层特征提取的 MBConv 模块及复合缩放因子示意图。 请点击此处查看此图的放大版本。

为了将 EfficientNet-B0 修改用于乳腺超声分类任务,研究人员对模型结构引入了特定调整。系统将原本用于 1,000 类 ImageNet 数据集的初始分类层替换为一个包含 3 个输出神经元的全连接(密集)层。研究中将预训练的 EfficientNet-B0 主干网络的所有层均设为可训练,并与新的分类层一起进行联合优化,采用的是完全微调策略。训练过程中未使用分阶段冻结或逐步解冻方法。该框架使用 Adam 优化器进行训练,学习率为 0.00005,并采用步进式学习率调度器,每 7 个训练周期将学习率降低为原来的十分之一。这三个神经元对应 BUSI 数据集中三个目标类别:良性、正常和恶性。模型在输出层使用 SoftMax 激活函数,将原始得分转换为概率分布,如公式 7 所示。表 2 展示了模型架构的详细说明。

Softmax 函数方程,\(P(y=i|z)=\frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}\),分类方法。      

层类型描述
输入层接收尺寸为 224 x 224 x 3 的图像
卷积层包含初始卷积和 MBConv 模块,用于特征提取。
全局平均池化将空间维度降为一维特征向量。
全连接层将特征向量映射到 3 个输出神经元(正常、良性、恶性)。
SoftMax 激活将逻辑值转换为多分类的概率。

表2:展示了模型架构的描述。

用于训练模型的参数包括Adam优化器、初始学习率为0.00005,以及分类交叉熵损失(三类),其数学计算方式如公式9所示。使用ImageNet预训练权重初始化EfficientNet-B0,并对整个网络进行完全训练,所有主干网络层均参与训练,未采用分阶段冻结策略。原始分类器被替换为一个全连接层和三个输出神经元,并最终采用SoftMax激活函数,分别对应良性、恶性和正常三类。图像被缩放至224 × 224像素,随后使用ImageNet的均值和标准差进行归一化处理,并以每批8张图像的迷你批次加载。采用步进式学习率调度器,每7个训练周期将学习率降低为原来的0.1倍。通过验证损失进行早停判断,耐心值设为2个周期,以避免过拟合。Grad-CAM激活图基于最后一个卷积层生成,通过计算梯度、全局平均池化获取通道权重,并将激活图上采样至输入图像分辨率。

为了验证该稳定性,通过多次运行并结合匹配的验证性能重复了训练过程。通过监测训练和验证损失曲线来识别过拟合现象,并采用一个与训练过程无关的分层保留测试集进行最终评估。验证性能与测试性能之间的差异较小,表明模型具有稳定的收敛性和优化可重复性。公式10定义了分步学习率调度策略。公式15表示验证损失连续两次上升,提示可能出现过拟合。

公式 d=αφ, w=βφ, r=γφ;过程变量关系;公式;科学教育。      

交叉熵损失方程;公式:\( L_{CE} = -\sum_{i=1}^{N} y_i \log(\hat{y}_i) \)。      

黏度方程 ηt=η0·γ^[t/7],用于描述随时间变化的剪切变稀现象。      

梯度下降公式 νt=β2νt-1+(1−β2)(∇θL)²,优化算法方程。      

优化算法方程,Adam优化器公式,数学表达式。      

梯度下降方程,θt=θt-1-η(m̂t/√v̂t+ε),公式,机器学习优化,迭代。      

L_val(t) 公式,逻辑序列,数学方程,教育研究,动态分析。      

EfficientNet-B0 在乳腺超声图像分类任务中表现出极高的灵活性,其架构包含多项创新性设计,从而实现了高效性与快速性。其核心部分为 MBConv 模块,该模块将深度可分离卷积与挤压-激励模块相结合,在不损失精度的前提下降低了计算复杂度。该模型还支持复合缩放方法,可统一缩放网络的深度、宽度和分辨率,从而在各种资源约束条件下实现最优性能;同时,该模型具备任务敏捷性,其数学推导如以下公式 8 所示。该模型已包含在 ImageNet 数据集上预训练得到的权重,因此可直接迁移用于学习,很大程度上无需在小型医学数据集上从头训练。这种高级特征提取能力与定制化训练环境的结合——包括对最终分类层的修改、使用 Adam 优化器、学习率调度器以及早停机制——确保了模型在保持高度准确性的同时,也具备良好的计算效率。上述架构创新与训练策略的结合,使模型能够基于质量欠佳的医学影像信息高效学习,从而成为乳腺超声图像分类中一项有力的工具。

算法 1:使用 EfficientNet-B0 和 Grad-CAM 进行乳腺超声图像分类

输入:乳腺超声图像。
输出:分类结果(正常、良性、恶性)及 Grad-CAM 热图。
1. 图像预处理:
将图像调整为 224×224 像素。
使用 ImageNet 的均值和标准差进行归一化。
通过翻转、旋转和颜色抖动进行数据增强。
2. 初始化模型:
加载预训练的 EfficientNet-B0 模型(去除顶层)。
添加全局平均池化层和一个全连接层(3 个神经元,SoftMax 激活)。
3. 训练模型:
优化器:Adam(学习率 = 0.00005)。
损失函数:交叉熵。
训练 18 个轮次,并采用早停策略(耐心值 = 2)。
4. Grad-CAM 可视化:
计算目标类别的梯度。
生成热图并叠加到输入图像上。

该算法提供了使用 EfficientNet-B0 和 Grad-CAM 对乳腺超声图像进行分类的工作流程,包括模型的预处理、训练和推理,以及用于临床验证的可解释性热图。

6. 作为可解释人工智能的 Grad-CAM

研究中使用的一种强大工具是梯度加权类激活映射(Gradient-weighted Class Activation Mapping),该工具能够为深度学习模型提供可解释性。针对临床影像领域当前对可解释人工智能(XAI)的迫切需求,该方法采用Grad-CAM,使临床医生能够通过可视化热图直观理解模型的决策过程,这些热图突出显示了在模型预测中起关键作用的图像区域。这种可解释性的融合对于建立对人工智能系统的信任至关重要,尤其是在医疗保健等高风险领域,问责制和透明度尤为关键。图5展示了Grad-CAM生成的热图,标示出对良性、恶性及正常病例预测影响最大的图像区域。

肿瘤分类热图、诊断预测与实际结果对比、医学诊断研究。
图 5:Grad-CAM 激活热图。(A)良性,(B)恶性,(C)正常病例。暖色(红色)表示较高的诊断影响力;冷色(蓝色)表示较低的关注度。请点击此处查看该图的放大版本。

所有 Grad-CAM 图像均与模型输入的原始图像一同展示。图5展示了原始超声图像和模型输入图像,以确保重点关注区域直接对应于预测过程中所使用的处理后输入图像。为了获得通道级别的权重重要性,Grad-CAM 利用最终卷积层的特征图计算预测类别相对于各特征图的梯度。这些梯度在全局范围内进行平均,得到各通道的加权系数,随后将这些系数与对应的特征图相乘,生成定位热图(公式16和公式17)。热图随后被上采样至输入图像的分辨率,并叠加到超声图像上,以标示图像中具有诊断意义的区域(例如肿瘤边界、纹理变化等)。该可视化方法提供了模型在做出预测时所依赖区域的空间分布理解。本文通过注意力定位的视觉分析来评估模型的可解释性。研究未包含定位的定量评估以及基于临床医生的评价,而这些仍是未来验证临床相关性的有价值方向。

静力平衡分析的数学公式,带偏导数的双重求和。      

梯度加权类激活映射公式,ReLU ΣαkcAk,方程。      

Grad-CAM 通过突出显示对预测结果有贡献的图像区域,以可视化方式展示模型的工作机制。这些热图可用于确认网络是否聚焦于肿瘤边界和声学模式等具有临床意义的结构。在出现误报的情况下,可视化结果有助于发现模型是否关注了无关区域,从而辅助模型的评估与优化。医学特征与模型注意力之间的这种对应关系,增强了人工智能辅助诊断的可解释性。图6展示了 GradCAM 的可视化结果。

使用Grad-CAM热图进行超声图像分析;良性、恶性及正常组织对比。
图6:Grad-CAM可视化。 Grad-CAM热图显示分类中的关键区域(红色表示高重要性,蓝色表示低重要性);颜色强度反映特征的重要性。请点击此处查看此图的放大版本。

添加Grad-CAM以增强EfficientNet-B0模型的可解释性,通过突出显示对分类决策贡献最大的图像区域。生成的热图标示出肿瘤边缘和纹理变化的临床显著结构,有助于对模型预测进行清晰分析。这种高分类准确性和可视化可解释性使得所提出的框架在分析乳腺超声图像时具有更高的可靠性。

7. 统计分析

该模型在多个指标上进行评估,例如精确率,用于衡量阳性预测的准确性;召回率,用于衡量模型识别所有相关病例的有效性;以及F1分数,即精确率和召回率的调和平均数,可提供对整体性能的平衡度量,这些指标均根据公式18–21进行数学计算。

准确率公式,(TP+TN)/(TP+TN+FP+FN),研究中的统计分析,方程示意图。      

精确率公式(TP/TP+FP),统计数据分析中的方程。      

召回率公式:TP/(TP+FN),以统计分析的数学方程格式表示。      

F1分数公式,用于评估模型性能的方程,精确率与召回率的调和平均数。      

平均绝对误差(MAE)用于量化预测值与真实值之间平均绝对差异,其数学计算如公式22所示。

均方误差公式,MSE=(1/n)Σ(yi-ŷi)^2,统计分析方程。      

均方根误差(RMSE)用于衡量预测值与真实值之间的平均偏差,其数学计算方法如公式23所示。

均方根误差公式;方程;统计分析;模型准确度测量。      

平均绝对误差(MAE)用于量化预测值与真实值之间平均绝对差异,其数学计算如公式24所示。

平均绝对误差公式,MAE=Σ|yᵢ-ŷᵢ|/n,统计分析方程。      

混淆矩阵用于按类别详细分解真阳性、真阴性、假阳性和假阴性,从而进一步说明模型的分类情况30。这些评估指标的结合可对模型在未观测数据上的误差、性能强度和泛化能力进行整体评估,因此使其成为乳腺超声图像分类的可靠工具。BUSI 数据集中病灶掩膜的可用性意味着未来可以引入定量定位指标(例如交并比)来客观评估解释结果的准确性。本研究选择分层保留验证法,以保持训练集与评估集之间的独立性,同时保留类别分布。未采用交叉验证的原因是为了避免验证样本在优化过程中被重复暴露;但在未来的研究中,将采用重复或嵌套交叉验证以进一步确定性能的变异情况。

访问受限。请登录或开始试用以查看此内容。

结果

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

将输入尺寸标准化为24 × 224像素,并采用基于ImageNet的归一化方法,有助于训练过程的稳定性以及损失曲线的平滑收敛。在训练样本上应用掩膜叠加操作后,与原始超声图像相比,病灶边界的可见性显著提高。该观察结果支持了如下假设:解剖结构引导的增强可改善特征的可分性。尽管训练阶段使用了这些掩膜叠加图像,验证集和测试集仍保持为未添加掩膜增强的对照组;模型在这些数据集上表现出的一致性能证明,其学习到的是内在的解剖学特征,而非依赖外部掩膜产生的人工特征。这些结果证实,预处理有效降低了背景的变异性,尤其对于视觉上较不明显的病灶。

针对恶性与正常少数类别的定向增强处理实现了类别分布的均衡,并减轻了对占主导地位的良性类别的预测偏差。系统在恶性类别上记录到0.96的高召回率,相较于未进行增强处理的基线对照实验,有显著提升。这些结果表明,水平翻转和旋转提供了方向不变性,而颜色抖动增强了对成像变异的抵抗能力。实证数据支持了以下假设:对于样本量有限的诊断类别,类别特异性增强对于保持高灵敏度至关重要。

在 BUSI 数据集上,经过精细调优的 Eff...

访问受限。请登录或开始试用以查看此内容。

讨论

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本研究提出的框架采用经过微调的 EfficientNet-B0 架构,并结合梯度加权类激活映射(Grad-CAM),构建了一个高性能且具有可解释性的乳腺超声图像分类系统。该研究通过弥合"黑箱"深度学习模型与临床透明性之间的差距,推动了科学领域的发展,证明了计算效率无需以牺牲可解释性为代价40。通过实施病灶感知的预处理和针对性的数据增强,本研究为处理医学数据集中固有的类别不平衡问题提供了稳健的方法,从而提升了人工智能辅助肿瘤学诊断的可靠性。

尽管取得了较高的准确性,但本研究仍存在若干局限性。BUSI 数据集代表了单一来源的临床采集场景,当模型暴露于不同超声设备特性或不同人群分布时,其跨域鲁棒性可能受限41。此外,样本量虽具代表性,但仍不及多中心队列的规模。研究该科学假设的其他可能途径包括采用视觉变换器(Vision Transformers, ViT)或自监督学习(Self-Supervised Learning, SSL),这些方法或许能够在无需大量标注掩膜的情况下,更有...

访问受限。请登录或开始试用以查看此内容。

披露

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者声明不存在利益冲突。

致谢

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者谨向各自机构及同事致以诚挚的感谢,感谢他们在本研究过程中持续的支持与鼓励。作者同时感谢 BUSI 乳腺超声数据集的创建者提供了公开可用的数据集,使得本研究得以开展。 本研究得到了沙特阿拉伯利雅得公主诺拉·宾特·阿卜杜勒拉赫曼大学研究人员支持项目(PNURSP2026R432)的资助。作者还感谢国王哈立德大学研究与研究生院 通过大型团体研究项目(资助编号 RGP2/749/46) 对本研究提供的经费支持。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
乳腺超声图像(BUSI 数据集)N/A780 张 PNG 图像(487 张良性,210 张恶性,133 张正常)
MatplotlibMatplotlib 开发团队N/A版本 3.7.1
NumPyNumPy 开发团队N/A版本 1.23.5
NVIDIA Tesla T4 GPUNVIDIAN/A16GB VRAM
OpenCVOpenCV.orgN/A版本 4.7.0
Pillow (PIL)Python 图像库N/A版本 9.4.0
PythonPython 软件基金会N/A版本 3.9.12
PyTorchMeta AIN/A版本 2.0.1+cu117
Scikit-learnScikit-learn 开发团队N/A版本 1.2.2
SeabornSeaborn 开发团队N/A版本 0.12.2
Ubuntu 操作系统CanonicalN/A64 位

参考文献

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wilkinson, L., Gathani, T. Understanding breast cancer as a global health concern. Br J Radiol. 95 (1130), 20211033(2021).
  2. Ud din, N. M., Dar, R. A., Rasool, M., Assad, A. Breast cancer detection using deep learning: datasets, methods, and challenges ahead. Comput Biol Med. 149, 106073(2022).
  3. Jin, W., Li, X., Fatehi, M., Hamarneh, G. Guidelines and evaluation of clinical explainable AI in medical image analysis. Med Image Anal. 84, 102684(2023).
  4. Ghasemi, A., Hashtarkhani, S., Schwartz, D. L., Shaban-Nejad, A. Explainable artificial intelligence in breast cancer detection and risk prediction: a systematic scoping review. Cancer Innov. 3 (5), (2024).
  5. Sharafaddini, A. M., Esfahani, K. K., Mansouri, N. Deep learning approaches to detect breast cancer: a comprehensive review. Multimedia tools and applications. 84 (21), 24079-24190 (2025).
  6. Singh, V. K., et al. Breast tumor segmentation in ultrasound images using contextual-information-aware deep adversarial learning framework. Expert Systems with Applications. 162, 113870(2020).
  7. Wani, N. A., Kumar, R., Bedi, J. Harnessing fusion modeling for enhanced breast cancer classification through interpretable artificial intelligence and in-depth explanations. Engineering Applications of Artificial Intelligence. 136, 108939(2024).
  8. Kikani, K., Desai, M., Desai, B. Early Detection and Personalized Risk Assessment of Breast Cancer: An Integrative Review and Comparative Evaluation of AI Models Using Clinical and Imaging Data. Archives of Computational Methods in Engineering. , 1-29 (2025).
  9. Singh, R., Gupta, S., Yamsani, N., Manwal, M., Bansal, G. Automated Breast Cancer Classification using a Custom CNN Architecture on the BUSI Dataset. IEEE Xplore. , 1185-1190 (2025).
  10. Ali, A., et al. Exploring AI approaches for breast cancer detection and diagnosis: A review Article. Breast Cancer: Targets and Therapy. , 927-947 (2025).
  11. Sharafaddini, A. M., Esfahani, K. K., Mansouri, N. Deep learning approaches to detect breast cancer: a comprehensive review. Multimed Tools Appl. , (2024).
  12. Sienicki, K. Comment on the paper titled ‘The origin of quantum mechanical statistics: insights from research on human language’. Preprints. , (2024).
  13. Ahn, J. S., et al. Artificial intelligence in breast cancer diagnosis and personalized medicine. Journal of breast cancer. 26 (5), 405(2023).
  14. Qureshi, S. A., et al. Breast cancer detection using mammography: image processing to deep learning. IEEE Access. , (2024).
  15. Dihmani, H., Bousselham, A., Bouattane, O. A new computer-aided diagnosis system for breast cancer detection from thermograms using metaheuristic algorithms and explainable AI. Algorithms. 17 (10), 462(2024).
  16. Nakach, F. Z., Idri, A., Goceri, E. A comprehensive investigation of multimodal deep learning fusion strategies for breast cancer classification. Artif Intell Rev. 57 (12), 327(2024).
  17. Mondol, R. K. Deep learning based prognosis and explainability for breast cancer. , UNSW Sydney. Doctoral dissertation (2025).
  18. Ayana, G., Ryu, J., Choe, S. Ultrasound-responsive nanocarriers for breast cancer chemotherapy. Micromachines. 13 (9), 1508(2022).
  19. Afrin, H., Larson, N. B., Fatemi, M., Alizad, A. Deep Learning in Different Ultrasound Methods for Breast Cancer, from Diagnosis to Prognosis: Current Trends, Challenges, and an Analysis. Cancers. 15 (12), 3139(2023).
  20. Ayana, G., Ryu, J., Choe, S. Ultrasound-responsive nanocarriers for breast cancer chemotherapy. Micromachines. 13 (9), 1508(2022).
  21. Di Paola, V., et al. Beyond N staging in breast cancer: importance of MRI and ultrasound-based imaging. Cancers. 14 (17), 4270(2022).
  22. Sahu, A., Das, P. K., Meher, S. Efficient deep learning scheme for breast cancer detection using mammogram and ultrasound images. Biomed Signal Process Control. 87, 105377(2024).
  23. Rezazadeh, A., Jafarian, Y., Kord, A. Explainable ensemble machine learning for breast cancer diagnosis using ultrasound texture features. Forecasting. 4 (1), 262-274 (2022).
  24. Raza, A., et al. Deep Breast Cancer Net: a novel deep learning model for ultrasound breast cancer detection. Appl Sci. 13 (4), 2082(2023).
  25. Jabeen, K., et al. Breast cancer classification from ultrasound images using optimal deep learning feature fusion. Sensors. 22 (3), 807(2022).
  26. Ayana, G., Park, J., Jeong, J. W., Choe, S. Multistage transfer learning for ultrasound breast cancer image classification. Diagnostics. 12 (1), 135(2022).
  27. Gupta, S., Agrawal, S., Singh, S. K., Kumar, S. Transfer learning-based model for ultrasound breast cancer classification. Comput Vis Bio-Inspired Comput. , 511-523 (2023).
  28. Kratkiewicz, K., Pattyn, A., Alijabbari, N., Mehrmohammadi, M. Ultrasound and photoacoustic imaging of breast cancer: clinical systems and challenges. J Clin Med. 11 (5), 1165(2022).
  29. Al-Dhabyani, W., Gomaa, M., Khaled, H., Fahmy, A. Dataset of breast ultrasound images. Data Brief. 28, 104863(2020).
  30. R, M. T. Enhancing Diagnostic Accuracy in Breast Ultrasound Imaging through Deep Learning and Image Augmentation Techniques. IEEE ICERCS, , 1-6 (2024).
  31. Balasubramaniam, S., Velmurugan, Y., Jaganathan, D., Dhanasekaran, S. A Modified LeNet CNN for Breast Cancer Diagnosis in Ultrasound Images. Diagnostics. 13 (17), 2746(2023).
  32. Atrey, K., Singh, B. K., Bodhey, N. K. Multimodal classification of breast cancer using feature level fusion of mammogram and ultrasound images in machine learning paradigm. Multimedia Tools and Applications. 83 (7), 21347-21368 (2023).
  33. Vigil, N., et al. Dual-Intended Deep Learning Model for Breast Cancer Diagnosis in Ultrasound Imaging. Cancers. 14 (11), 2663(2022).
  34. Uysal, F., Köse, M. M. Classification of Breast Cancer Ultrasound Images with Deep Learning-Based Models. ASEC 2022, , 8(2022).
  35. Boulenger, A., et al. Deep learning-based system for automatic prediction of triple-negative breast cancer from ultrasound images. Medical & Biological Engineering & Computing. 61 (2), 567-578 (2022).
  36. Işık, G., Paçal, İ Few-shot classification of ultrasound breast cancer images using meta-learning algorithms. Neural Computing and Applications. 36 (20), 12047-12059 (2024).
  37. Liu, H., et al. Artificial Intelligence-Based Breast Cancer Diagnosis Using Ultrasound Images and Grid-Based Deep Feature Generator. International Journal of General Medicine. 15, 2271-2282 (2022).
  38. Zourhri, M., et al. Deep Learning Technique for Classification of Breast Cancer using Ultrasound Images. IEEE IRASET, , (2023).
  39. Taleghamar, H., Jalalifar, S. A., Czarnota, G. J., Sadeghi-Naini, A. Deep learning of quantitative ultrasound multi-parametric images at pre-treatment to predict breast cancer response to chemotherapy. Scientific Reports. 12 (1), (2022).
  40. Sharafaddini, A. M., Esfahani, K. K., Mansouri, N. Deep learning approaches to detect breast cancer: a comprehensive review. Multimed Tools Appl. , (2024).
  41. Al-Dhabyani, W., Gomaa, M., Khaled, H., Fahmy, A. Dataset of breast ultrasound images. Data Brief. 28, 104863(2020).
  42. Mondol, S. S., Hasan, M. K. Enhancing B-mode-based breast cancer diagnosis via cross-attention fusion of H-scan and Nakagami imaging with multi-CAM-QUS-Driven XAI. Physics in Medicine & Biology. 70 (17), 175011(2025).
  43. Shifa, N. Explainable breast cancer detection in mammograms using lightweight EfficientNet-B0 with Grad-CAM and LIME. , Qatar University. (2025).
  44. Haghighat, F., Nemati, Z., Rambodrad, A., Negareshifard, P., Jafari, E. Multimodal deep learning and data fusion in precision breast oncology: clinical Applications, fusion Strategies, and future directions. InfoScience Trends. 2 (10), 81-115 (2025).

访问受限。请登录或开始试用以查看此内容。

重印与许可

申请许可以重复使用本 JoVE 文章的文本或图表

申请许可

标签

EfficientNet B0 Grad CAM

相关文章