基于Swin Transformer的甲状腺结节超声图像检测模型
2023年4月21日
本文提出了一种用于超声图像中甲状腺结节检测的新模型，该模型采用Swin Transformer作为主干网络，以实现长距离上下文建模。实验结果表明，该模型在敏感性和准确性方面表现良好。
该程序实现了一种自动且高效的甲状腺结节检测方法，未来可能减轻医生的工作负担。该技术将Swin Transformer应用于结节检测网络。Swin Transformer在捕获长距离上下文信息方面具有优势，这对于提高结节检测的敏感性非常有帮助。
首先，在计算机上打开终端，通过在命令行中输入 sudo apt-get install python3.8 安装 Python 3.8。要安装 PyTorch 1.7，请前往 Miniconda 官方网站并安装该工具。然后在命令行中输入屏幕上显示的命令以创建 Conda 环境，并通过输入 conda activate SwinFasterRCNN 激活该环境。
在命令行中输入所示命令来安装 PyTorch。对于 MM 检测的安装，从官方 GitHub 仓库克隆代码，然后在命令行中输入命令 pip install v e 来安装 MM 检测。打开 schedule_1x。
在 Vim 文本编辑器中打开 py 文件，并编辑文件以设置默认的训练相关参数，包括优化器、学习率和训练轮数（epic）。输入屏幕上显示的命令以开始训练。等待网络开始进行 48 轮训练，并在输出文件夹中生成 SwinFasterRCNN 网络的训练权重。
保存在验证集上准确率最高的模型权重。训练完成后，选择在验证集上表现最优的模型，用于新图像中的甲状腺结节检测。运行测试脚本，将图像调整为512像素×512像素，并进行归一化处理。
等待脚本自动将预训练模型参数加载到 SwinFasterRCNN 中，并将预处理后的图像输入 SwinFasterRCNN 进行推理。等待 SwinFasterRCNN 输出每张图像的预测框。最后，允许脚本自动对每张图像执行 NMS 后处理，以去除重复的检测框。
同一图像的检测结果在指定行中显示。各列分别为SwinFasterRCNN、FasterRCNN、YOLOv3、SSD、RetinaNet和DETR的检测结果。区域的真实情况以绿色矩形框标出。
检测结果由红色矩形框标出。选择合适的超参数以确保这些结果能够收敛非常重要，这需要通过大量实验来确定。
查看完整文字稿并访问数千部科学视频
概述
本研究提出了一种利用Swin Transformer模型在超声图像中检测甲状腺结节的新方法。该方法在结节检测的敏感性和准确性方面表现出显著提升。
关键研究组成部分
科学领域
- 医学影像
- 机器学习
- 甲状腺健康
背景
- 甲状腺结节很常见，需要准确检测以进行正确诊断。
- 传统方法可能耗时且具有主观性。
- 机器学习技术，尤其是深度学习，在医学图像分析中已显示出良好的应用前景。
- Swin Transformer 在捕捉图像中的长距离上下文信息方面具有显著优势。
研究目的
- 开发一种用于甲状腺结节检测的自动化系统。
- 提高超声图像中结节检测的敏感性和准确性。
- 减轻医疗专业人员的工作负担。
使用的方法
- 基于 Swin Transformer 的结节检测网络的实现。
- 使用超声图像数据集对模型进行训练。
- 采用 Python 和 PyTorch 进行模型开发。
- 应用后处理技术优化检测结果。
主要结果
- Swin Transformer 模型在检测甲状腺结节方面表现出高灵敏度和高准确性。
- 与其他模型（如 Faster R-CNN 和 YOLOv3）相比，该模型展现出更优越的性能。
- 有效的超参数调优对实现模型最佳性能至关重要。
- 结果通过检测框进行可视化呈现，突出显示真阳性与假阳性区域。
结论
- 该模型显著提高了甲状腺结节的检出率。
- 结节检测的自动化可减轻医疗保健提供者的负担。
- 未来的研究可能聚焦于进一步优化该模型并拓展其适用范围。
常见问题
行业重要性概述
在超声图像中自动检测甲状腺结节，有助于解决早期疾病识别与风险分层中的关键瓶颈问题。将基于Swin Transformer的模型整合到发现阶段的影像工作流程中，可提高预测置信度，并支持对大规模数据集进行可扩展且可重复的分析。这一能力对于致力于加速内分泌学和肿瘤学领域生物标志物发现及转化研究的生物制药团队具有直接相关性。
生物制药研发中的战略应用
早期发现与靶点验证
- 能够对成像数据集中的疾病相关特征进行高通量、定量识别。
- 通过减少操作者在结节检测中的主观性，支持客观且可重复的靶点验证。
- 通过捕捉组织形态中的长程上下文依赖关系，提升机制性风险评估能力。
- 提供稳健且可扩展的图像分析结果，助力项目组合的优先级筛选。
筛选与检测方法开发
- 为下游表型筛选和生物标志物分析准备经过验证的影像数据集。
- 标准化检测输出，支持结果的可重复性和跨研究间的可比性。
- 实现大规模患者队列的可扩展性筛选，助力转化型生物标志物的发现。
- 提供定量的边界框及置信度评分输出，以实现可靠评估。
转化与临床前研究
- 将影像学结果与疾病相关终点对齐，以实现转化研究的连续性。
- 通过提高检测任务的敏感性和特异性，支持基于风险调整的推进决策。
- 实现影像学生物标志物在临床前和临床研究流程中的整合。
- 通过提高早期检测准确性，降低后期生物学风险。
流程与工作流整合
这种基于Swin Transformer的检测模型适用于从早期发现到转化研究的成像分析全流程，可同时支持假设验证和生物标志物确认。
- 发现生物学：通过提供客观、定量的成像读数，增强假设检验。
- 筛选：提供可重复、可扩展的检测输出，适用于高通量筛选工作流程。
- 分析：输出定量的边界框和置信度评分，支持稳健的统计比较。
- 转化研究：通过将成像输出与疾病终点对齐，连接发现阶段与临床前阶段。
- 企业级复用：为多种疾病模型提供可复用、可适应的成像分析能力。
运营与企业影响
- 科学价值：提高基于成像研究的预测可信度，降低机制上的模糊性。
- 操作价值：实现图像分析的标准化与自动化，提升可重复性和可扩展性。
- 战略价值：通过减轻人工审查负担，支持更优的决策判断与资本使用效率。
- 项目组合影响：支持基于风险调整的优先级排序，推动以成像驱动的发现项目向前发展。
实施注意事项
- 需要具备机器学习、医学影像和基于 Python 的框架方面的专业知识。
- 需要使用支持 GPU 的计算基础设施来进行模型训练和推理。
- 要求跨团队统一影像采集协议和标注实践。
- 在不同成像模态或疾病模型间进行迁移时，可能需要额外的验证。
- 超参数调优和模型选择对于实现最佳性能和收敛至关重要。
