基于卷积神经网络的脑肿瘤分类与分割框架：利用磁共振图像

摘要

在磁共振成像（MRI）中，采用深度学习算法利用U-Net进行脑肿瘤分类与分割。InceptionV3、DenseNet201和Inception-ResNet-v2在肿瘤类型与分级预测中表现出优异的准确率。GPT-4.0增强了混合模型，用于自动生成医学报告及辅助诊断。

摘要

脑肿瘤的早期诊断对于优化患者的预后和治疗方案选择至关重要。准确的脑肿瘤分割与分类是制定专科治疗技术的基础。随着磁共振成像（MRI）在脑部诊断中的应用日益广泛，以及计算机视觉技术的不断进步，基于MRI扫描建立高效且准确的肿瘤识别与分类模型仍面临挑战。为解决这一问题，作者提出了一种基于深度学习的技术，用于对来自不同数据集的脑肿瘤进行分割与分类。图像预处理阶段采用了九种数据增强方法以提升模型性能。MRI图像的分割通过U-Net模型实现。

基于 InceptionV3 和 DenseNet201 构建的分类模型可预测肿瘤的存在，并将其分为胶质瘤、脑膜瘤和垂体瘤。在肿瘤分类任务中，InceptionV3 的准确率达到 99.15%，高于 DenseNet201 的 98.75%。此外，基于 Inception-ResNet-v2，还通过聚类方法将肿瘤进一步分为高级别胶质瘤（HGG）和低级别胶质瘤（LGG）。Inception-ResNet-v2 能以 96.64% 的准确率识别肿瘤分级（1-4级）。该自主系统将混合模型与 GPT-4.0 相结合，用于自动生成报告。因此，这一新型框架在临床上具有应用潜力，可用于自动识别和区分由 MRI 扫描获取的输入图像中的脑肿瘤。

引言

脑肿瘤可能显著影响患者及其家庭的生活质量，每年在美国接受治疗的所有癌症病例中，约有1%为脑肿瘤^1,2,3。胶质瘤是美国人群中最常见的原发性脑肿瘤，发病率为每10万人中6.5例。该肿瘤起源于星形胶质细胞、少突胶质细胞和室管膜细胞，这些胶质细胞为脑内神经元提供营养支持。根据肿瘤所累及的胶质细胞类型及其基因特征，胶质瘤被分为不同类型，而基因特征目前可用于预测肿瘤随时间推移的发展行为以及最可能有效的治疗方案^4,5,6。胶质瘤可因肿瘤位置和生长速度的不同而影响脑功能，甚至导致死亡。脑膜瘤占所有原发性脑肿瘤的15%-20%。在常规筛查中，其发生率为每100人中有1例。脑膜瘤被认为起源于蛛网膜帽细胞。根据其位置不同，脑膜瘤的生物学行为表现广泛，从良性到高度侵袭性不等。该肿瘤可表现为多种不同症状，但大多数患者无明显症状。

相关症状和体征主要由邻近结构受压引起，因此患者还可能出现运动性癫痫发作、感觉障碍、言语障碍、嗅觉丧失等多种症状。垂体瘤是继胶质瘤和脑膜瘤之后第三常见的原发性颅内肿瘤，约占所有切除的原发性脑肿瘤的10%。其临床表现多种多样，可由垂体激素分泌过多或过少、垂体柄受压，或对周围结构（尤其是视交叉）产生影响所致。

与标准脑部CT扫描相比，MRI图像具有更广泛的组织对比度^7,8,9。因此，开发一种常规的自动脑肿瘤分割方法，对于正确诊断和治疗这些患者具有极其重要的意义。可靠且自动化的脑肿瘤分割技术的建立，将在脑肿瘤患者的准确诊断与治疗中发挥至关重要的作用。这类智能化方法可协助神经外科医生和放射科医生更精确地评估肿瘤的体积和形态，并更准确地界定肿瘤与邻近正常组织之间的边界。

机器学习可能有助于确定脑肿瘤的类型和存在，但由于其模型具有预测性，因此需要更多的人工干预。相比之下，深度学习模型由于神经网络的存在，能够自主学习和检测特征，这将成为完全自动化整体检测过程的核心。目前已为放射科医生开发了多种机器学习（ML）方法，以在识别和分类磁共振图像时提供异常视觉信息。在众多癌症检测方式中，最有效的方法是医学影像技术。这些方法在识别和检测恶性肿瘤方面具有重要作用。该方法至关重要，因为它不具有其他医疗实践所伴随的侵入性。这些操作过程是非侵入性的^10,11,12。本研究的创新之处在于提出了一种独特的基于深度学习（DL）的框架，利用MRI图像实现脑肿瘤的自动、准确且高效的多类别分类与分级，从而减少了对人工判读的依赖。

作者提出了使用nLBP和LBP特征提取方法的脑肿瘤分类模型。这些模型精确地表征了最常见的脑癌类型。采用nLBPD = 1的特征提取方案结合KNN模型，达到了最高95.56%的准确率¹¹。作者综述了深度学习（DL）在放射影像学中的临床应用，并记录了该领域内的相关操作流程¹³。他们强调了深度学习在多个临床领域的临床意义。尽管深度学习在某些放射学应用中已表现出令人满意的结果，但该技术尚不成熟，尚无法取代放射科医生的诊断职能¹⁴。将深度学习算法与放射科医生结合，可提高诊断的有效性和效率。已有大量研究通过多种研究设计评估了MRI在脑肿瘤分类中潜在应用的价值。

Afshar 等人提出了一种改进的 CapsNet 架构，用于对 3,064 张带有辅助输入感兴趣区域的脑肿瘤图像进行分类，通过应用肿瘤边界以集中计算资源，提升分类性能，在准确率上达到 90.89%¹⁵。Gumaei 等人提出了一种基于混合特征提取的方法，结合随机极限学习机（RELM）对脑肿瘤进行分类。作者采用最小-最大归一化对脑部图像进行标准化处理，并使用 RELM 进行分类，实现了 94.23% 的准确率¹⁶。Rezaei 等人提出了一种结合分割与磁共振成像（MRI）脑肿瘤分类的集成方案，所采用的步骤包括去噪、通过支持向量机（SVM）进行分割、特征提取以及利用差分进化算法（DE）进行特征选择。肿瘤切片通过加权支持向量机（WSVM）、K 近邻（KNN）和直方交核支持向量机（HIK-SVM）分类器进行分类。基于多目标差分进化（MODE）的集成方法使分类准确率达到 92.46%¹⁷。Fouad 等人提出了一种基于 HDWT-HOG 特征描述符和鲸鱼优化算法（WOA）进行特征降维的脑肿瘤分类方法。该方法采用集成学习中的 Bagging 策略，使用 Bagging 时平均准确率达到 96.4%，使用 Boosting 时准确率为 95.8%¹⁸。

Ayadi 等人提出了利用归一化和基于梯度直方图的密集加速鲁棒特征（dense accelerated robust features with gradient histogram）等技术对脑肿瘤进行分类的方法，提升了图像检索质量，并生成了具有判别性的特征。研究采用了支持向量机（SVM）分类器，在评估数据集上的准确率最高达到了90.27%¹⁹。Srujan 等人提出了一种十六层的卷积神经网络（CNN）深度学习架构，结合ReLU激活函数和Adam优化器，实现了95.36%的分类准确率²⁰。Tejaswini 等人设计了一种用于脑膜瘤、胶质瘤和垂体瘤诊断的CNN模型，其验证准确率达到87.16%，训练准确率为92.79%。此外，还采用Otsu阈值法、模糊c均值（fuzzy c-means）和分水岭技术对肿瘤区域进行了分割²¹。Huang 等人提出了用于脑癌分类的CNN-BCN模型，该网络架构采用随机图方法设计，目标准确率最高达到95.49%²²。Ghassemi 等人设计了一种用于脑肿瘤图像分类的深度学习模型²³。通过将预训练网络用作生成对抗网络（GAN）的判别器，从磁共振（MR）图像中提取出强大的特征和学习模式。基于五折交叉验证，该方法通过使用数据增强和Dropout技术替代全连接层，准确率达到95.6%。Deepak 等人将SVM与CNN相结合用于脑肿瘤图像分类。在采用五折交叉验证协议进行测试时，该自动化系统实现了95.82%的准确率，优于其他技术²⁴。Noreen 等人采用了预训练并微调的Xception和InceptionV3等网络用于脑癌识别。这些模型结合了随机森林（RF）、支持向量机（SVM）和K近邻（KNN）等多种机器学习技术，其中InceptionV3集成模型的准确率达到94.34%²⁵。

Shaik 等人对医学图像处理中的脑肿瘤进行了分类，提出了一种 Manet 方法，该方法通过结合空间和跨通道注意力来优先识别肿瘤，同时保持通道间的时间关联性。在主要的脑肿瘤分类任务中，该方法达到了 96.51% 的准确率²⁶。Ahmad 等人构建了一种用于脑肿瘤分类的深度生成神经网络。该技术利用变分自编码器（VAEs）和生成对抗网络（GANs），在脑肿瘤的磁共振（MR）图像上实现了 96.25% 的准确率^27,28。Alanazi 等人提出了一种深度学习（DL）模型，用于识别脑肿瘤亚型。该方法包括构建多个卷积神经网络（CNN）模型，并应用迁移学习对一个 22 层的 CNN 模型的权重进行微调。该模型在 MRI 图像上的准确率分别达到 95.75% 和 96.89%^29,30。Almalki 等人将一种机器学习（ML）技术应用于 MRI，以快速分析四种类型脑肿瘤的严重程度。他们将 MRI 图像分解为 8×8 像素的图像块，从而提取高斯和非线性尺度特征以及细微细节。关键特征被识别出来，划分为 400 个非线性尺度特征，并与每张 MR 图像合并。他们采用支持向量机（SVM）分类器，获得了 95.33% 的准确率^31,32。Kumar 等人比较了三种卷积神经网络（CNN）模型——InceptionV3、AlexNet 和 ResNet50，用于原发性肿瘤的分类，并采用了数据增强方法。其中 AlexNet 在特异性和准确率方面优于其他模型，准确率达到 96.2%³³。

Ullah 等人深入研究了用于脑肿瘤诊断的深度学习模型。DeepEBTDNet 通过应用 DSIHE 提高 MRI 图像质量，并利用 LIME^34,35 确保模型的可解释性。TumorResNet 包含 20 个卷积层，分类准确率达到 99.33%，为脑肿瘤的早期诊断和治疗规划提供了一种一致且自动化的方案³⁶。Kumar 等人提出了多种先进的深度学习架构，用于脑肿瘤的分类与检测。PBTC 模型结合 MRI 预处理、ACLS 分割以及经 OHBO 优化的 HRNN-BiLSTM，实现了 97.8% 的准确率³⁷。一种结合伯克利小波变换与增强型猎豹优化算法的双通道卷积神经网络，在四种类型脑肿瘤的分类中准确率达到 98.8%³⁸。Disci 等人利用 MRI 数据评估预训练的深度学习模型，使用 Xception 模型实现了 98.73% 的分类准确率³⁹。

方案

数据集描述与探索性分析
该数据集由多个来源组成，以提高模型的可靠性和准确性。合并后的数据集（Merged_dataset）包含来自数据集A（3,054张）、数据集B（3,264张）、数据集C（10,000张）和数据集D（4,292张）的共计20,620张图像。此外，还加入了来自Brad数据集的1,425张图像，用于胶质瘤肿瘤分级（HGG、LGG）。这一多样化的数据集将有助于提升模型的泛化能力，减少偏差，并改善模型性能。大规模的数据集支持全面的评估，从而在分类任务的实际应用中更有可能获得准确的预测结果。

本研究使用了两组不同的数据集。第一组数据于2005年至2010年间采集自中国天津医科大学的南方医院和总医院，包含233名肿瘤患者（包括胶质瘤II级和III级）的T1加权增强图像。该数据集提供了肿瘤类别和总体数据分析的全面分布。对于高级别胶质瘤（HGG），共有1,050张图像；对于低级别胶质瘤（LGG），共有375张图像，表明研究更侧重于更严重的病例（HGG）。

图1展示了被分为三种脑肿瘤类型的MRI扫描图像。每一行代表一种肿瘤类型，每种类别包含三个样本图像。这些扫描图像在不同方向和视角下具有不同的特征，包括轴向、矢状向和冠状向。胶质瘤样本具有不规则的结构，会浸润脑组织；脑膜瘤样本表现为靠近脑表面的局部肿块；垂体瘤样本则位于脑的中心区域附近。这些示例呈现出肿瘤形态的多样性，有助于训练机器学习模型，以实现医学图像分析中对肿瘤的准确检测与分类。

图 1：肿瘤的 MRI 扫描图像。 脑膜瘤、胶质瘤和垂体瘤的轴向、矢状和冠状位 MRI 扫描图像，突出显示各自不同的影像学特征。请点击此处查看该图的高清版本。

胶质瘤的图像数量最多，略高于6,000张。脑膜瘤约有6,000张图像，而垂体瘤的图像数量与脑膜瘤相近。这三类肿瘤的图像数量分布几乎均等，表明每种肿瘤类型在训练或任何分析中均具有良好的代表性。胶质瘤的中位文件尺寸最大，尽管脑膜瘤的数据范围更集中，但存在更多离群值。垂体瘤的方差适中，包含少数明显的离群值。每一类中均存在一些文件尺寸特别大的样本。

图2展示了三种肿瘤类型图像特征的主成分分析（PCA）。第一主成分捕获了最大的方差，显著地将垂体瘤（右侧聚类）与其他类型区分开来。胶质瘤和脑膜瘤在左侧重叠，表明它们的特征表示相似，可分性降低。

图2：图像特征的主成分分析（PCA）。 对提取的特征进行主成分分析，以区分胶质瘤、脑膜瘤和垂体瘤类别。 请点击此处查看该图的放大版本。

图3 所示的相关性热图描绘了图像元数据属性之间的关系：文件大小、高度和宽度。文件大小与高度（-0.01）和宽度（0.0039）的相关性均非常低。

图3：元数据相关性热图。热图展示了图像元数据属性之间的关系，例如文件大小、高度和宽度。请点击此处查看该图的放大版本。

高度与宽度之间的正相关性也非常低，仅为0.0039。对角线上的值为1，表示每个变量与其自身的相关性达到完全一致。总体而言，这些属性之间大多不相关，这意味着文件大小、图像高度和宽度之间存在相对独立的变化。

方法学与提出的架构
基于 MRI 数据系统性检测、分类和分析脑肿瘤的工作流程如图4所示。该方法学包括先进的预处理、分割和深度学习（DL）技术，以实现可靠的肿瘤预测与分类。

图 4：所提出方法的工作流程。 使用 MRI 数据进行肿瘤检测、分类和分析的逐步工作流程。请点击此处查看该图的放大版本。

该过程首先整合多个数据集（标记为 A、B、C 和 D）。随后，将这些数据集合并为一个综合数据集，以获得整体数据。该过程还涉及使用 Brad 数据集进行图像分割、聚类和分类。合并后的数据集包含各数据集中所有图像的追加以及目录的整合，确保形成一个全面且统一的数据集，用于后续分析和多分类模型的开发。

第二步是完成预处理，这是提高数据质量和多样性的关键步骤。对原始 MRI 图像应用了九种增强处理，以提升模型性能和数据集的多样性。将图像调整为统一尺寸可使其标准化，RGB 转灰度图像可简化处理流程。水平/垂直翻转可增强模型鲁棒性，旋转与缩放操作可模拟不同的成像条件。使用 Sobel 滤波可增强特征锐度，添加噪声可提高数据变异性。非锐利遮罩（unsharp masking）可提升图像锐度，而高度和宽度方向的平移可引入位置变化。这些方法组合使用后，可提升模型的泛化能力和分类准确率。所有这些处理共同确保模型能够在广泛的成像条件下实现良好泛化。原始 MRI 图像总数为 20,620 张，经过预处理后用于模型构建的图像总数达到 185,580 张。

然后，使用在医学影像中广泛应用的U-Net模型对合并后的数据集进行分割。该网络结构经过微调并训练，用于从MRI扫描图像中识别肿瘤区域。此步骤生成带有掩膜的图像，突出显示肿瘤并去除无关细节。图像分割可为后续的分类与分析提供更优的数据输入。

下一步，这些模型经过微调，利用迁移学习将图像分类到不同类别中，从而在提高准确性的同时缩短训练时间。在分类过程中，采用了多种预训练的深度学习模型，每种模型都具有独特的优势。由于在图像分类中使用简便且效率高，VGG16 和 VGG19 被广泛采用。EfficientNetB0 和 EfficientNetB7 在计算效率最优的情况下，提供了先进的性能。ResNet101 凭借更深的网络结构，能够有效捕捉复杂的模式，从而提升分类准确性。随后，训练好的算法将 MRI 数据分为四类肿瘤类型，以确保准确诊断。胶质瘤起源于胶质细胞，会损害脑功能。脑膜瘤发生在脑和脊髓的保护层——脑膜上。垂体瘤位于垂体，会影响激素平衡和生理过程。

然后，为了辅助准确诊断，采用诸如K-近邻（KNN）之类的聚类技术来预测肿瘤分级。高级别胶质瘤（HGG）的3级和4级表示肿瘤进展严重。低级别胶质瘤（LGG）的1级和2级则分别为生长较慢、侵袭性较低的肿瘤。这种分级对于确定肿瘤的侵袭性程度，进而指导临床管理至关重要。

最后，为了评估分类模型的有效性，将根据重要标准对它们进行对比。通过评估其效果，以确定数据增强和分割策略是否提升了模型性能。为了确保可靠性和有效性，还需在多种数据集上检验模型性能，并将分类准确率与最先进的模型进行比较。

该工作流程将数据准备、预处理、分割、分类和分级整合到一个连贯的框架中。通过应用前沿的深度学习方法和严格的预处理，提高了脑肿瘤检测与分类的准确性。纳入肿瘤分级进一步支持临床决策，使该系统成为一种全面的肿瘤分析解决方案。

图 5：深度学习框架。 提出的基于深度学习模型的脑肿瘤分类框架。请点击此处查看该图的放大版本。

图5 是一种与医学图像分类系统相关的架构，该系统借助深度学习等先进计算技术来识别脑肿瘤。系统首先获取一组待分类的MRI图像，这些图像将作为分类过程的基础。随后，输入数据进入数据预处理模块，在此进行归一化、调整图像大小、图像增强以及噪声去除等操作。预处理步骤对输入图像进行标准化，以最大程度地优化模型的训练阶段。该步骤的目的是为后续计算密集型阶段做好充分准备。完成预处理后，数据被送入特征提取模块。在此模块中，可采用计算技术或模型（例如卷积神经网络CNN等深度学习模型）来识别图像中的特征。所提取的特征可能包括提示异常或肿瘤特性的模式。随后，这些特征被输入至分类模型中。由于该模型的目标可能是区分不同类别（包括是否存在肿瘤以及肿瘤类型），因此其通常采用较为复杂的架构（如Inception-ResNet-v2等），以实现准确预测。模型首先判断扫描的脑部图像中是否存在肿瘤，此分类结果分为“有肿瘤”和“无肿瘤”两类。当检测到肿瘤时，系统进一步将肿瘤类型分类为胶质瘤（Glioma）、脑膜瘤（Meningioma）或垂体瘤（Pituitary）。每种肿瘤类型均具有特定特征，模型通过提取的特征进行识别。对于已识别的肿瘤，系统将进一步确定其分级，分级范围为1至4级，用以表示肿瘤的严重程度和发展阶段。1级表示侵袭性最低，4级则表示最为严重。此类分级结果有助于临床诊断及治疗方案的制定。最终输出结果包括肿瘤的有无、类型及其分级，这些信息在临床应用中具有重要价值，可为患者诊疗决策提供支持。

该流程代表了一种用于医学图像分析和肿瘤类型分类的集成化流水线。从原始数据开始，依次经过数据预处理、特征提取和分类。系统可判断是否存在肿瘤，明确其类型，并给出肿瘤的严重程度或分级。该流水线采用更复杂的计算形式，简化了医学影像中的诊断过程，使脑肿瘤的评估更加快速和准确。模块化的流程设计确保了灵活性，各组件可独立优化以提升整体性能。

结果

训练环境利用 Kaggle 的 NVIDIA Tesla T4 GPU，以实现高效的模型训练。关键的库包括 TensorFlow、PyTorch、Keras、NumPy 和 Pinecone，这些工具支持构建强大的深度学习流程。选择 DenseNet201、InceptionV3 和 Inception-ResNet-v2 是因为它们在医学影像分析中已展现出卓越的有效性。这些架构提供了深层特征提取、稳健的梯度流动以及混合优势，通过利用先进的卷积和残差学习能力，提高了脑肿瘤检测的准确性，减少了过拟合，并增强了模型的泛化能力。在 DenseNet201 中，每一层都会接收来自之前所有层的输入，从而缓解梯度消失问题，并促进特征重用。该模型共有 201 层，采用一系列密集块结构，每个密集块包含多个卷积层。DenseNet201 以其训练效率高著称，相较于传统卷积网络，能够在使用更少参数的情况下达到很高的精度。该模型常用于图像分类任务，并在多个基准数据集上表现出优异性能。这表明模型架构与其相应的超参数调优相结合，能够以极低的误差水平成功实现数据分类。训练过程中较低的损失值反映了模型有效降低误差的能力，表明学习过程中具有高度收敛的可能性。

...

讨论

脑肿瘤的早期诊断对于挽救患者生命可能至关重要，因为脑肿瘤可能具有高度危险性并导致死亡。目前，肿瘤诊断依赖放射科医生的人工判读，这可能导致在早期阶段检测恶性肿瘤时出现延迟和人为错误。因此，本文提出了一种多分类脑肿瘤诊断模型，能够精确地检测、定位和分类肿瘤，尤其适用于处理不同形状、大小和纹理的情况。该模型结合了混合方法与先进的深度学习模型，应用于医学影像，以提高准确性并实现多分类。脑部MRI被分为三类：胶质瘤、脑膜瘤和垂体瘤。该方法采用一种精确且自动化的分割模型，能够从原始采集的输入图像中分割出脑部MRI。由于肿瘤可能出现在大量不同的位置，并具有多种形状和结构，因此实现肿瘤分割的自动化较为困难。肿瘤分割模型基于U-Net架构开发。在未进行分割的情况下，分类过程显著缩短了分类模型所需的时间。

该研究还探讨了数据集扩增的影响。分类模型通过多个数据集以及两个预训练模型进行了测试。由于模型训练需要高计算量的GPU处理，作者使用搭载高端笔记本电脑的Kaggle GPU，并在模型训练过程中采用批量处理技术。该研究通过利用迁移学习结合微调方法，突出了医学影像领域的可持续方法，以提升模型效率并最小化计...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
fastText	Facebook AI	N/A	词表示与文本分类
Google Colab	Google	N/A	基于云的 Jupyter Notebook 环境
Google Colab GPU/TPU	Google	N/A	基于云的硬件加速
Intel Core i5/i7 或 AMD Ryzen 5/7	Intel / AMD	N/A	本地运行所需的处理器（如需要）
Matplotlib	开源	N/A	数据可视化库
NLTK	开源	N/A	用于文本处理的自然语言工具包
NumPy	开源	N/A	数值计算库
NVIDIA GTX 1650 或更高版本（可选）	NVIDIA	N/A	用于深度学习任务的 GPU
Pandas	开源	N/A	数据处理库
Python	Python 软件基金会	N/A	用于机器学习与自然语言处理的编程语言
PyTorch	Meta AI	N/A	深度学习框架
内存（最低 8GB，推荐 16GB）	多种厂商	N/A	机器学习任务的内存需求
Scikit-learn	开源	N/A	机器学习库
Seaborn	开源	N/A	统计数据分析可视化
SpaCy	Explosion AI	N/A	工业级自然语言处理库
固态硬盘存储（最低 256GB，推荐 512GB）	多种厂商	N/A	用于数据集处理的存储空间
TensorFlow	Google	N/A	深度学习框架