基于深度学习的三维荧光显微图像中管状结构分割的开源方案

摘要

本方案介绍了一个开源工具箱，该工具箱提供了一套完整的流程，用于分割三维（3D）荧光显微镜图像中的管状结构。该方法采用基于模拟的数据增强深度学习技术，训练U-Net和Attention U-Net模型，提供定性和定量评估，并包含用户友好的笔记本，用于全程的训练、推理和可视化。

摘要

从三维荧光显微图像中对致密生物组织内的管状结构进行分割，对于研究复杂组织至关重要，但由于图像复杂性、变异性及质量问题，该任务仍具挑战性。本文介绍了一款开源、用户友好的工具箱，可实现三维图像中管状结构的端到端分割，且无需研究人员具备正式的编程训练背景。该工具箱采用交互式 Jupyter 笔记本，集成了两种简洁而高效的深度学习架构——3D U-Net 和带注意力机制的 3D U-Net，用于精确分割三维管状网络。其关键创新在于基于模拟的数据增强策略，即使训练数据极少（少至一幅三维图像），也能显著提升模型性能。该方案利用用户提供的掩膜生成具有不同信噪比的人工显微图像，并模拟真实的成像伪影，包括染色不均、点扩散函数卷积、轴向强度变化以及泊松噪声和高斯噪声。本方案系统性地引导用户完成数据增强、模型训练、在测试集上的定性与定量评估，以及对新图像的推理分析。我们通过分析小鼠肝组织中两种形态迥异的管状网络——胆小管网络和窦状隙网络，验证了该工具箱的有效性，结果表明两种架构均表现良好，而在使用增强数据训练时，带注意力机制的 U-Net 略优于标准 U-Net。本综合工具箱可在本地图形处理器（GPU）、高性能计算集群或云平台上运行，有助于推动先进图像分析技术在广大科研人员中的普及应用。

引言

对生物组织中管状结构（如血管、神经元网络以及肝脏中的胆管）进行定量分析，对于理解生理和病理过程（包括血管生成、肿瘤转移和器官发育）至关重要^1,2,3。三维（3D）荧光显微镜已成为成像这些复杂网络的关键工具，具有高空间分辨率，能够在原生环境中可视化复杂的组织结构^4,5,6,7。然而，由于成像伪影、信号变异以及生物样本固有的形态异质性，从致密生物组织中准确分割管状结构仍是一项艰巨挑战。传统的分割方法（如阈值法、区域增长法和基于模型的算法）通常需要大量人工干预和精细的参数调整，这既耗时又具有主观性，尤其在处理肝脏等复杂的三维组织时更为明显^8,9,10,11,12。这些方法通常难以应对生物样本和成像条件固有的变异性，限制了其在不同数据集和实验设置间的通用性。尽管已开发出ImageJ¹³和TiQuant⁸等软件工具以辅助组织分析与定量，但它们在实现复杂管状网络的全自动、全面三维重建方面，可能缺乏所需的灵活性或可扩展性。

深度学习通过以高精度和高效率自动化分割任务，彻底改变了生物医学图像分析^14,15,16。卷积神经网络（CNN），特别是U-Net等编码器-解码器架构，在多种生物医学成像应用中表现出卓越性能^17,18,19。此外，将U-Net扩展至三维数据（3D U-Net）可有效处理体图像，捕捉三个维度的空间上下文信息，从而提高对复杂结构的分割准确性²⁰。在这些架构中引入注意力机制（Attention U-Net）可进一步提升性能，使网络能够聚焦于显著特征，同时抑制无关的背景噪声^18,21,22。尽管具有潜力，实现用于三维分割的深度学习模型仍面临重大挑战。训练这些模型通常需要大量的编程专业知识、强大的计算资源以及大规模标注数据集，而这些条件并非所有研究人员都能轻易获得。对三维图像进行标注尤其耗时费力，通常需要在大量切片上手动标注复杂结构，这对于大规模数据集而言可能难以承受。虽然数据增强技术可通过旋转、缩放和翻转等变换人为增加数据集的多样性，从而减轻对大量训练数据的需求，但传统的增强方法可能无法充分捕捉生物图像的变异性与复杂性，尤其是涉及复杂三维结构的情况。

为解决这些局限性，我们推出了一款开源且用户友好的工具箱，用于对三维显微图像中的管状结构进行端到端的分割。该工具箱采用交互式 Jupyter 笔记本，实现了两种稳健的深度学习方法——3D U-Net^17,20 和带有注意力机制的 3D U-Net^18,21 ，可在无需大量编程知识的前提下，实现对三维管状结构的精确分割。本方案的一项关键创新在于基于模拟的数据增强策略，即使仅使用一幅三维图像作为训练数据，也能显著提升模型性能。通过利用用户提供的掩膜，该方案可生成具有不同信噪比的人工显微图像，并模拟真实的成像伪影，包括染色不均、与共聚焦显微镜点扩散函数（PSF）的卷积、因抗体渗透或散射导致的轴向强度变化，以及泊松噪声和高斯噪声的存在。这种基于模拟的数据增强不仅增加了训练数据的数量，还通过引入真实多样的变化丰富了数据集，从而提高了模型对未见数据的泛化能力。本方案系统性地引导用户完成数据增强、模型训练、在测试集上对模型预测结果进行定性与定量评估，以及对新图像进行推理预测（图1）。我们通过分析小鼠肝组织中两种形态截然不同的管状网络——胆小管网络和窦状隙网络，验证了该工具箱的有效性。这两种网络具有不同的结构特征和成像挑战，为我们的方法提供了可靠的测试平台。

尽管大多数现有研究集中于二维图像分析，限制了对复杂三维结构的理解，我们的方法则强调三维分割，以捕捉组织结构的全部复杂性。通过将成熟且强大的深度学习架构与用户友好的界面相结合，我们的工具箱推动了先进图像分析工具的普及化。我们的分析流程可在本地GPU、高性能计算集群或Google Colab等云平台上运行，使计算资源有限的研究人员也能广泛使用先进的图像分析技术。本研究提供了一种易于使用且全面的管状结构三维分割解决方案，有助于开展定量分析，从而推动对组织功能和疾病机制的深入理解。

方案

1. 工具箱的安装与设置

1. 从 GitHub 下载工具箱
   1. 打开网页浏览器，访问工具箱的 GitHub 仓库： https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation 
   2. 使用 Git 克隆下载（选项 A）。确保系统已安装 Git；若未安装，请从 https://git-scm.com/downloads 下载并安装。打开终端（Unix/Linux/macOS）或命令提示符（Windows），导航至要存储工具箱的目录。输入以下命令克隆仓库：
      git clone https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation.git
   3. 下载 ZIP 文件（选项 B）。在 GitHub 页面上，点击绿色的 Code 按钮，选择 Download ZIP。将 ZIP 文件保存到目标目录，并解压其内容。
2. 设置 Conda 环境
   1. 安装 Anaconda 或 Miniconda。如果尚未安装，请从以下地址下载 Anaconda：
      https://www.anaconda.com/download，或从 https://docs.anaconda.com/miniconda/ 下载 Miniconda。根据所使用的操作系统，按照安装说明完成安装。
   2. 打开终端或命令提示符。通过输入以下命令创建一个名为 img_seg_env、包含 Python 3.10 的新 Conda 环境：
      conda create -n img_seg_env python=3.10
   3. 通过输入以下命令激活 Conda 环境：
      conda activate img_seg_env
      或在 Windows 系统中输入：activate img_seg_env
3. 使用 requirements.txt 安装所需依赖项。请确保当前位于工具箱的根目录下。使用 pip 安装所需的 Python 包，输入以下命令：
   pip install -r requirements.txt
   注意：此命令将读取 requirements.txt 文件并安装所有必要的包
   1. 确认已安装 numpy、scipy、matplotlib、tensorflow 和 jupyter 等包。通过输入以下命令验证安装是否成功，并列出已安装的包：
      pip list
4. 启动 Jupyter Notebook
   1. 在已激活的 Conda 环境中，输入以下命令启动 Jupyter Notebook：
      jupyter notebook
   2. 如果更偏好使用提供增强界面的 JupyterLab，可运行：
      jupyter lab
   3. 访问 Jupyter 界面：等待网页浏览器自动打开并显示 Jupyter 界面。如果未自动打开，请复制终端中提供的 URL（例如 http://localhost:8888/tree），在浏览器中手动打开。
   4. 在 Jupyter 界面中，导航至包含工具箱提供的 Jupyter 笔记本的目录（例如 /path/to/3DMicroscopyImageSegmentation-main/）。

2. 数据准备（图1A）

1. 生成管状结构的图像数据
   1. 获取三维显微图像
      1. 从以下网址下载公开可用的小鼠肝脏组织三维图像：https://zenodo.org/records/14029574。该数据集包含从原始图像裁剪出的胆小管（BC）和窦状隙网络的三维共聚焦图像⁹。或者，使用一组生成的图像。
   2. 获取三维点扩散函数（PSF）
      1. 从 https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation/blob/main/data/raw/PSF.tif 下载真实的点扩散函数（PSF）图像。或者，使用 DeconvolutionLab2²³ 并根据显微镜参数生成理论 PSF。
   3. 使用以下分割方法生成管状结构的二值掩膜：
      1. 在 Fiji 中使用 MorpholibJ 进行半自动分割
         1. 打开 Fiji，加载显微图像。
         2. 进入菜单 Process | Binary | Make Binary，选择 Otsu 作为 method，然后点击 OK。
         3. 打开插件 MorpholibJ，导航至 Plugins | MorpholibJ | Filtering | Morphological Filters (3D)。
         4. 选择 Closing operation，将 element shape 设置为 Ball（对管状结构效果最佳），并选择合适的 radius（以体素为单位）。点击 Show element 以可视化结构元素。对于管状结构，可尝试 3 到 8 像素的数值。
            注意：较大的半径可能会引入伪影。
         5. 点击 File | Save As… | Tiff…，将结果保存为 'image_closing.tif'。
            注意：确保每个生成的掩膜对应正确的原始图像文件，并保持文件名一致。示例预计算掩膜可从以下网址下载：https://doi.org/10.5281/zenodo.14029574
   4. 手动校正掩膜。
      1. 按照以下网址的说明下载并安装 Labkit²⁴ ：https://github.com/juglab/labkit-ui。打开每个初步掩膜，使用绘图和擦除工具手动修正分割错误，通过添加或删除区域来准确描绘管状结构。保存校正后的掩膜，文件名与原始图像保持一致。
      2. 使用 Napari²⁵
         1. 打开命令行窗口，激活 Napari 环境（如果尚未激活）：
            conda activate napari_env
         2. 启动 napari：
            napari
         3. 将显微图像及其对应的二值掩膜拖拽至 napari 中。
         4. 右键单击掩膜图层名称，选择 Convert to Labels，将二值掩膜转换为标签图层。
         5. 将 contour width 设置为 1，开始校正。若需填充空洞，使用 Pick tool 选择掩膜值，激活 Fill Bucket tool 后点击空洞内部。
            注意：如果整个图像被填充，说明结构可能存在间隙。请先使用 Paintbrush 工具闭合边界，再尝试使用 Fill Bucket 工具。
         6. 校正完成后，通过 File | Save Selected Layers | TIFF 保存修正后的掩膜。在 Fiji 中打开修正后的掩膜，点击 Image | Type | 8-bit 将其转换为 8 位格式，保存最终的 8 位图像。
2. 组织数据集
   1. 创建数据集目录结构。
      1. 选择一个用于存储数据集的目录（例如 /path/to/your/dataset），并创建如下文件夹结构：
         dataset/
         ├── training_data/
         │   ├── images/
         │   │   ├── img1.tif
         │   │   ├── img2.tif
         │   │   └── ...
         │   └── masks/
         │       ├── img1.tif
         │       ├── img2.tif
         │       └── ...
         └── test_data/
             ├── images/
             │   ├── imgtest1.tif
             │   ├── imgtest2.tif
             │   └── ...
             └── masks/
                 ├── imgtest1.tif
                 ├── imgtest2.tif
                 └── ...
   2. 整理图像和掩膜。
      1. 训练数据
         1. 将用于训练的三维显微图像放入 dataset/training_data/images/ 目录中，确保文件名一致（例如 img1.tif、img2.tif）。
         2. 将对应的校正后二值掩膜放入 dataset/training_data/masks/ 目录中，确保文件名与图像文件夹中的文件名匹配（例如 img1.tif、img2.tif）。
      2. 测试数据
         1. 将用于测试的三维显微图像放入 dataset/test_data/images/ 目录中，使用不与训练数据重叠的一致文件名。
         2. 将对应的校正后二值掩膜放入 dataset/test_data/masks/ 目录中，确保文件名与测试图像文件夹中的文件名匹配。

3. 运行完整流程（图1B-E）

1. 打开 Jupyter 笔记本。
   1. 通过输入以下命令激活 Conda 环境 img_seg_env：
      ​conda activate img_seg_env
   2. 导航至项目的根目录：
      cd /path/to/ImageSegmentationcode/
   3. 输入 jupyter lab 或 jupyter notebook 启动 Jupyter 界面。
   4. 在网页浏览器中，打开名为 process_images.ipynb 的笔记本文件。
2. 配置环境
   1. 导入库并配置 GPU 访问。
      注意：在第一个和第二个笔记本单元格中，将导入所需的库，并配置 TensorFlow 以启用内存增长的方式使用 GPU。这可确保 TensorFlow 不会一次性占用全部 GPU 内存，从而兼容多任务运行。请勿更改单元格中的内容，通过点击 运行 按钮执行单元格。
3. 配置输入参数
   1. 找到输入配置单元格，并根据数据集进行修改：
      source_dir = '/path/to/data/BC/'
      psf_path = '/path/to/PSF.tif'
      code_dir = '/path/to/code/'
      out_dir = '/path/to/output/'
      out_name = 'BC'
   2. 点击 运行 按钮执行第 3 个单元格。
   3. 请勿更改单元格中的内容，点击第 4 个单元格中的 运行 按钮执行该单元格。
4. 生成图像块
   1. 执行 创建数据集 单元格，以生成训练和测试用的图像块。 请勿更改 单元格中的内容，通过点击 运行 按钮执行单元格。
5. 模型训练
   1. 执行 训练模型 单元格，使用三种增强设置（无增强、标准增强和基于模拟的增强）训练 UNet3D 模型。
   2. 将 'UNet3D' 替换为 'UNet3D' 或 'AttentionUNet3D' 以训练带注意力机制的 UNet3D 模型。如有需要，可修改 config.py 中的训练设置（参见步骤 3.9）。
6. 生成预测结果
   1. 运行 生成预测 单元格，对测试数据生成分割掩码。 请勿更改这些单元格中的内容，通过点击 运行 按钮执行单元格。
7. 评估与绘图生成
   1. 执行 生成图表 单元格，以生成评估指标的箱线图。
8. 结果审查与解读
   1. 检查由 out_images_path 和 out_plots_path 指定路径中的输出结果。
   2. 查看箱线图，比较不同模型及增强策略在图像块级别和全图像级别上的评估指标。
9. 通过 config.py 进行自定义
   1. 修改 config.py 中以下关键参数以自定义流程：
      PATCH_SIZE = (64, 64, 64)
      PATCH_STEP = 64
      LEARNING_RATE = 1e-4
      BATCH_SIZE = 1
      NUM_EPOCHS = 50
      VALIDATION_SPLIT = 0.2
      EARLY_STOPPING_PATIENCE = 10
      AVAILABLE_MODELS = ["UNet3D", "AttentionUNet3D"]
      ​INTENSITY_PARAMS = { "background_level": 0.1, "local_variation_scale": 5, "z_decay_rate": 0.999, "noise_std": 0.1, "poisson_scale": 1.0, "intensity_scale": 1000.0, "snr_targets": [15, 10, 5, 4, 3, 2, 1]}
10. 故障排除
    1. 若出现内存不足错误，请在 config.py 中减小 BATCH_SIZE 或 PATCH_SIZE。
    2. 若遇到 GPU 问题，请确保有足够的可用内存，或减小批次 大小。
11. 最终确认
    1. 当流程完成时，请查找以下打印消息：
       所有计算已成功完成
    2. 我们强烈建议在配备支持 CUDA 的 NVIDIA GPU 的 Linux 或 Windows 系统上运行 TensorFlow。如果在安装支持 CUDA 的 TensorFlow 时遇到问题，请遵循官方安装流程：https://www.tensorflow.org/install/pip

结果

数据采集
为验证我们的工具箱，我们分析了成年小鼠肝脏组织中的两种不同管状网络：胆小管（BC）和窦状隙网络。对于每种结构，均使用来自单个动物的一个三维显微图像进行训练，而另外两个来自不同动物的独立图像则专门用于测试。所有肝脏图像的体素分辨率均为各向同性，0.3 µm/体素，确保在三个空间维度上采样一致。该数据集最初发表于Morales-Navarrete等人的研究⁹，并使用Labkit²⁵进行整理，提供了管状结构的高质量二值掩膜，作为监督学习的真值标准。对于窦状隙网络，我们生成了两种类型的二值掩膜：一种勾画管状结构的边界（空心表示），另一种填充整个管状体积，从而可根据具体应用需求采用不同的训练策略。

此外，我们在一个外部数据集上评估了我们的工具箱，该数据集包含成年Mus musculus的全脑血管图像，作为SELMA3D 2024挑战赛的一部分提供。该数据集由在标准饲养条件下（12小时光照/12小时黑暗循环，持续3个月）获取的三维光片显微镜图像组成，可通过BioStudies（S-BIAD1197）获取图像²⁶。其中五幅脑图像用于训练，十九幅用于测试。原始的各向异性图像堆栈使用Fiji中的线性插值方法重采样为各向同性的体素尺寸，以确保与我们的分析流程兼容。

预处理
为了解决原始3D图像数量有限的问题，我们采用了数据增强技术，引入了真实的成像伪影，并模拟了从15到1不等的信噪比。该方法对于提升模型的泛化能力和鲁棒性至关重要。

将测试图像分割为互不重叠的64 × 64 × 64体素区域块，以评估模型在局部区域的性能，并检验在同一三维体积内不同空间背景下模型的稳健性。

模型架构
我们实现并比较了两种专为3D分割设计的卷积神经网络架构：

一个标准的3D U-Net¹⁷，由对称的编码器-解码器模块组成，采用2×2×2的最大池化、带ReLU激活函数的卷积层，以及最后用于二分类的1×1×1卷积层和Sigmoid函数。

一种注意力U-Net²⁷，其结合了注意力机制，可动态突出显著特征并抑制无关背景，从而改善对肝脏管状网络等复杂且多变结构的分割效果。

训练方案
两种网络架构均在配备 32 个 CPU 核心、128 GB 内存和两块 NVIDIA A100 SXM4 40 GB GPU 的高性能计算集群上，使用 TensorFlow 和 Keras 库进行训练。由于 Attention U-Net 的结构更为复杂，尤其是在使用增强数据集时，其所需的训练时间更长（见表 1）。

评估指标
使用标准的分割指标在保留的测试图像上对模型性能进行定量评估：Dice 系数、交并比（IoU）、F1 分数、体积相似性以及灵敏度和特异性。

乳腺癌、正弦结构和血管的结果汇总于图2、图3、图4和图5中。此外，表2展示了与已有的经典管状结构分割方法（包括Otsu法和自适应阈值法）的性能比较。我们的模型，特别是基于增强数据训练的注意力U-Net模型，在所有评估指标上均持续优于这些传统方法。

统计分析与稳健性
对测试集中整幅图像以及64 × 64 × 64体素的图像块（表3）进行分析，使我们能够量化模型在不同区域预测结果的空间变异性。所有模型均表现出高准确性，其中注意力U-Net模型性能始终更优，尤其在F1分数和Dice系数方面表现突出。定性结果如图2A、B，图3A、B，图4A、B，图5A、B以及视频1、视频2、视频3和视频4所示，支持上述结论，展示了模型在测试数据大多数区域中对管状结构的精确分割。

性能指标中异常现象的解释
补丁分析的箱线图中较低的数值（补充图 S1、补充图 S2、补充图 S3、补充图 S4 和 补充图 S5），表明在部分测试补丁中存在性能离群值。同样，视频末尾帧中次优的分割结果可归因于两个关键因素：

边界效应：在图像边界处，由于部分结构代表性不足或未被完整捕获，分割性能通常会下降，从而导致更高的不确定性及潜在的误分类。

深层z平面中的图像质量下降：尽管体素尺寸各向同性，但由于信号衰减、光散射以及z方向对比度降低等生物学和技术因素，导致样本体积底部的图像质量下降。这种质量下降使得边界精确划分变得困难，并导致分割结果不一致。

这些因素是三维生物成像中的固有挑战，尤其在远离成像平面或结构边界模糊的区域影响更为显著。

综上所述，我们的研究结果表明，基于深度学习的分割模型，特别是采用增强数据训练的注意力U-Net，能够对三维肝脏显微图像中的复杂管状结构实现稳健且精确的分割。通过利用经过筛选的数据集、逼真的数据增强策略以及注意力机制，该模型在性能上优于阈值分割等传统方法。采用64³体素块进行的区域评估验证了该方法在不同图像区域和结构复杂性下的稳定性和泛化能力。尽管仍存在一些局限性，主要源于边界效应和z平面图像质量下降，但本研究突显了基于注意力机制网络架构的有效性，并为生物医学成像中的高精度三维管状结构分割提供了一种经过验证的开源解决方案。

图1：利用U-Net和Attention U-Net模型对荧光显微图像中的管状结构进行三维分割的工作流程。（A） 数据准备：小鼠肝组织三维荧光显微图像的示意图二维切片，展示原始图像及其对应的二值化掩膜。（B） 数据增强：基于模拟的数据增强方法，对准备好的数据进行扩充，生成具有不同信噪比（例如 SNR = 15 和 SNR = 1）的图像。（C） 模型训练：使用原始数据和增强数据，基于图像块对U-Net和Attention U-Net模型进行训练。训练过程中生成大小为 64 × 64 × 64 的图像与掩膜块。（D） 模型评估：计算各模型的定量性能指标，包括召回率（Recall）和F1分数（F1 Score），以评估其在测试数据集上的分割准确性。（E） 模型推理：将训练好的模型应用于未见过的图像，生成预测的分割掩膜。缩写：SNR = 信噪比（signal-to-noise ratio）。请点击此处查看该图的放大版本。

图 2：利用小鼠肝组织三维荧光显微图像进行胆小管网络分割的 U-Net 与 Attention U-Net 模型评估。(A) 三维荧光显微图像的代表性二维切片（中间层面），显示小鼠肝组织中原始图像及对应的胆小管（BC）真实掩膜。右上角图像为各切片中插图区域的放大视图。(B) U-Net、Attention U-Net 及其增强版本模型生成的预测分割掩膜。上排突出显示真阳性（正确分割的结构），下排显示各模型的假阳性（错误识别的结构）和假阴性（遗漏的结构）。(C) 各模型的定量评估指标，包括准确率、F1 分数、精确率、召回率、体积相似性及 Dice 系数。评估基于从三维图像中提取的图像块进行。误差线表示在测试图像间的标准差。比例尺：60 µm；插图比例尺：30 µm。缩写：BC = bile canaliculi。请点击此处查看该图的放大版本。

图 3：基于小鼠肝脏组织三维荧光显微图像的窦状隙网络分割任务中 U-Net 与 Attention U-Net 模型的评估结果。（A）三维荧光显微图像的代表性二维切片（中间层面），展示小鼠肝脏组织中窦状隙的原始图像及其对应的真实标签掩模。右上角图像为各切片中插图区域的放大视图。（B） U-Net、Attention U-Net 及其增强版本模型生成的预测分割掩模。上排图像突出显示真阳性（正确分割的结构），下排显示各模型的假阳性（错误识别的结构）和假阴性（遗漏的结构）。（C） 各模型的定量评估指标，包括准确率、F1 分数、精确率、召回率、体积相似性及 Dice 系数。评估基于从三维图像中提取的图像块进行。误差线表示在测试图像上的标准差。比例尺：60 µm；插图比例尺：30 µm。请点击此处查看该图的高清版本。

图 4：基于小鼠肝组织三维荧光显微图像中将窦状隙网络分割为实心管状结构的 U-Net 与 Attention U-Net 模型评估结果。(A) 三维荧光显微图像的代表性二维中间切片，展示小鼠肝组织中窦状隙的原始图像及其对应的真实标签掩膜。右上角图像为各切片中标注区域的局部放大视图。(B) U-Net、Attention U-Net 及其增强版本生成的预测分割掩膜。上排图像突出显示真阳性（正确分割的结构），下排图像显示各模型的假阳性（错误识别的结构）和假阴性（遗漏的结构）。(C) 各模型的定量评估指标，包括准确率、F1 分数、精确率、召回率、体积相似性及 Dice 系数。评估基于从三维图像中提取的图像块进行。误差线表示在测试图像间的标准差。比例尺：60 µm；插图比例尺：30 µm。 请点击此处查看该图的高清版本。

图5：基于填充管状掩膜，利用三维光片显微镜图像对小鼠脑血管网络进行分割的U-Net与Attention U-Net模型评估。（A）从小鼠脑组织的三维光片显微镜图像中提取的代表性二维中间切片，显示原始图像及对应的血管真实标注掩膜。各图右上角展示了选定区域的放大视图。图中还展示了U-Net、Attention U-Net及其增强版本模型生成的预测分割掩膜。上排图像突出显示真阳性结果（正确分割的血管结构），下排图像则分别展示各模型的假阳性（错误分割区域）和假阴性（遗漏的血管结构）。（C）采用准确率、F1分数、精确率、召回率、体积相似性及Dice系数等指标对模型性能进行定量评估。评估基于从测试体积数据中提取的三维图像块进行。误差棒表示19张测试图像之间的标准差。请点击此处查看该图的高清版本。

视频 1：BC 网络预测掩膜的 Z 轴层叠动画。 该视频展示了由 U-Net、Attention U-Net 及其增强版本在小鼠肝组织中生成的胆小管（bile canaliculi）预测分割掩膜在 Z 轴层叠中的动态序列。每个二维切片分别用白色（真阳性）、绿色（假阳性）和洋红色（假阴性）标示各模型的预测结果，并贯穿整个层叠序列。缩写：BC = 胆小管。 请点击此处下载该视频。

视频 2：肝窦网络预测掩膜的 Z 轴层叠动画。 该视频展示了由 U-Net、Attention U-Net 及其增强版本在小鼠肝组织中生成的肝窦预测分割掩膜沿 Z 轴层叠的动态序列。每个二维切片均高亮显示各模型的真阳性（白色）、假阳性（绿色）和假阴性（品红色），并贯穿整个层叠序列。请点击此处下载该视频。

视频 3：将预测的掩膜以填充管状形式展示的肝窦网络 Z-堆栈动画。 该视频展示了小鼠肝脏组织中肝窦网络的预测分割掩膜沿 Z-堆栈方向的动态序列，掩膜以填充管状形式呈现，由 U-Net、Attention U-Net 及其增强版本生成。每个二维切片均突出显示各模型的真阳性（白色）、假阳性（绿色）和假阴性（品红色），并贯穿整个堆栈进行展示。请点击此处下载该视频。

视频 4：脑血管预测掩膜的 Z 轴层叠动画。 该视频展示了由 U-Net、Attention U-Net 及其增强版本生成的血管预测分割掩膜在 Z 轴层叠中的动态序列。每个 2D 切片分别用白色（真阳性）、绿色（假阳性）和品红色（假阴性）突出显示各模型的预测结果，并贯穿整个层叠序列。请点击此处下载该视频。

表1：U-Net 3D 和 Attention U-Net 3D 模型在胆小管和窦状隙数据集上（有无数据增强）的训练时间。 U-Net 3D 和 Attention U-Net 3D 模型在胆小管和窦状隙数据集上（有无数据增强）的训练时间。该表列出了每个数据集的图像块数量及相应的训练时间（单位：分钟）。数据增强使图像块数量从1353增加到10824，导致训练时间显著增加。由于Attention U-Net模型在结构上更为复杂，能够聚焦于数据中的相关特征，因此其训练时间始终长于U-Net模型，尤其是在使用增强数据集时更为明显。缩写：BC = 胆小管。请点击此处下载该表格。

表2：使用全图像分割在四个数据集上对U-Net 3D和Attention U-Net 3D模型的定量评估。 本表报告了各模型以及经典方法（如Otsu法和自适应阈值法）在四个不同数据集上的性能表现：胆小管、窦状网络（空心和实心表示）以及全脑血管系统，评估所用为完整的3D图像。对于每个模型与数据集的组合，列出了测试图像数量以及性能指标：准确率（Accuracy）、精确率（Precision）、召回率（Recall，即灵敏度）、特异性（Specificity）、F1分数、Dice系数、交并比（IoU）和体积相似性（Volume Similarity）。这些指标从体素级正确性和预测结果与真实标注之间的体积一致性两个方面，全面评估了分割质量。缩写：BC = 胆小管；IoU = 交并比。 请点击此处下载该表格。

表3：使用64 × 64 × 64体素块对U-Net 3D和Attention U-Net 3D模型在四个数据集上的定量评估。 本表总结了U-Net 3D和Attention U-Net 3D模型在四个数据集——胆小管、窦状隙网络（空心和实心掩模）以及全脑血管系统——基于64×64×64体素大小的三维图像块评估中的性能表现。针对每个模型-数据集组合，列出了测试图像块的数量以及关键性能指标：准确率（Accuracy）、精确率（Precision）、召回率（Recall，即灵敏度）、特异度（Specificity）、F1分数、Dice系数、交并比（Intersection over Union）和体积相似性（Volume Similarity）。这些基于图像块的指标可提供模型性能的局部洞察，尤其有助于识别在不同体积空间中分割准确性的异质性。缩写：BC = 胆小管；IoU = 交并比。请点击此处下载该表格。

补充图 S1：3D U-Net 与 Attention U-Net 模型在胆小管分割任务中的图像块级分割性能。 图表展示了 3D U-Net 和 Attention U-Net 模型在胆小管数据集上的定量性能，评估基于尺寸为 64 × 64 × 64 体素的 3D 图像块。所示指标包括准确率、精确率、召回率（灵敏度）、特异度、F1 分数、Dice 系数、交并比以及体积相似性。结果反映了不同图像块之间的性能差异，提供了对模型性能的局部洞察，并揭示了 3D 肝组织体积内的空间异质性。缩写：BC = 胆小管；IoU = 交并比。请点击此处下载该文件。

补充图 S2：3D U-Net 与 Attention U-Net 模型在窦状隙分割任务中的图像块级分割性能。 图中展示了 3D U-Net 和 Attention U-Net 模型在窦状隙数据集上的定量性能，评估基于大小为 64 × 64 × 64 体素的 3D 图像块。所示指标包括准确率（Accuracy）、精确率（Precision）、召回率（Recall，即灵敏度）、特异度（Specificity）、F1 分数、Dice 系数、交并比（Intersection over Union）以及体积相似性（Volume Similarity）。结果反映了不同图像块之间的性能差异，提供了模型性能的局部视角，并揭示了 3D 肝组织体积内的空间异质性。缩写：IoU = 交并比（Intersection over Union）。请点击此处下载该文件。

补充图 S3：3D U-Net 与 Attention U-Net 模型在将窦状隙分割为实心管状结构任务中的图像块级分割性能。 图表展示了 3D U-Net 和 Attention U-Net 模型在将窦状隙作为实心管状结构数据集上的定量性能，评估所用的 3D 图像块大小为 64 × 64 × 64 体素。所示指标包括准确率（Accuracy）、精确率（Precision）、召回率（Recall，即灵敏度）、特异性（Specificity）、F1 分数、Dice 系数、交并比（Intersection over Union）以及体积相似性（Volume Similarity）。结果反映了不同图像块之间的性能差异，提供了对模型性能的局部洞察，并揭示了 3D 肝组织体积内的空间异质性。缩写：IoU = 交并比。 请点击此处下载该文件。

补充图 S4：基于光片显微镜图像的脑血管 3D U-Net 与 Attention U-Net 模型的图像块级分割性能。 图表展示了 3D U-Net 和 Attention U-Net 模型在全脑血管数据集上的定量性能，评估时采用大小为 64 × 64 × 64 体素的 3D 图像块。所示指标包括准确率（Accuracy）、精确率（Precision）、召回率（Recall，即灵敏度）、特异性（Specificity）、F1 分数、Dice 系数、交并比（Intersection over Union）以及体积相似性（Volume Similarity）。结果反映了不同图像块之间的性能差异，提供了模型性能的局部洞察，并揭示了 3D 肝组织体积内的空间异质性。缩写：IoU = 交并比。请点击此处下载该文件。

补充图 S5：胆小管三维荧光显微图像上分割结果的叠加图。 展示了小鼠肝脏胆小管三维荧光显微数据集的代表性图像切片，其中以红色叠加显示了分割掩膜。三维U-Net和注意力U-Net模型预测的掩膜被叠加在原始灰度显微图像上，以直观评估分割的准确性。提供了十个示例图像，用以说明模型捕捉不同形态特征以及应对不同组织区域信号变异性的能力。请点击此处下载该文件。

讨论

本方案提供了一种简单、强大且易于使用的深度学习方法，用于三维荧光显微图像中管状结构的分割，弥合了生物图像分析中技术复杂性与可用性之间的差距。通过整合基于模拟的数据增强、交互式 Jupyter 笔记本以及高效的 U-Net 网络架构，我们提供了一个开源工具，能够对胆小管和窦状隙网络等复杂组织结构实现高精度分割。该工具箱解决了三维分割任务中的关键挑战，特别是在应对数据稀缺以及成像条件多变性方面，成为生物图像分析领域中一种通用性强的补充工具。

本方案的一个关键组成部分是基于模拟的数据增强，即使在标注图像数量有限的情况下，也能提升模型性能——这在生物学研究中是一种常见限制。通过生成模拟真实成像伪影的增强数据，例如点扩散函数卷积、轴向强度衰减以及泊松噪声和高斯噪声，该工具箱能够产生在多种成像条件下均具有鲁棒性的模型。这种方法有效增加了数据多样性，提高了模型的泛化能力，相较于传统数据增强技术具有显著优势，因为后者可能无法充分捕捉生物样本中存在的异质性。然而，该方法受限于初始提供的掩膜中内在编码的形态学特征。由于初始训练数据的生成依赖于预先分割的掩膜，若掩膜未能充分代表目标生物结构，则可能引入潜在偏差。因此，如何在形态学空间中生成更真实的增强数据仍是一个开放性问题，这对于研究疾病进展等存在形态改变的组织可能具有重要意义。

本方法采用两种编码器-解码器模型：3D U-Net 和 Attention U-Net，选择依据是它们在生物医学图像任务中表现出的高性能。3D U-Net 提供了一种简洁而强大的分割架构，而 Attention U-Net 通过有选择性地关注相关特征并抑制噪声，进一步提高了分割精度。这两种模型均包含在工具箱中，用户可根据其特定数据集的需求进行选择。我们的结果显示，Attention U-Net 模型在各个数据集上的性能指标均更高，尤其在处理诸如窦状隙网络等复杂结构时，注意力机制的额外复杂性有助于缓解低信噪比和结构变异带来的影响。然而，需要注意的是，Attention U-Net 的计算需求更高，可能会影响 GPU 资源有限的用户的使用。此外，由于该流程具有开源特性，如有需要，未来研究可轻松添加其他更复杂的网络架构。

本方案提供了一种一体化且用户友好的流程，将三维分割所需的关键步骤整合于单一设置中。这种简化的设计具有显著优势，能够在无需编程经验或参数调整专业知识的情况下，简化对高级分割工具的访问。此外，我们基于模拟的数据增强策略增强了模型的鲁棒性，减少了对大量人工标注的依赖，并提升了模型在不同成像条件下的泛化能力。与传统的分割方法相比，本方法具有明显优势：传统方法通常依赖于需要精细调参的阈值分割或区域生长算法^28,29 ，而我们的深度学习方法所需的人工干预极少。这有助于推动复杂三维结构高质量、可重复分割的普及化，使更广泛的研究人员（包括缺乏丰富计算经验的研究者）均能便捷地使用该技术。

除了管状网络外，该方案的灵活性还使其能够轻松适应其他生物结构的分割。未来的改进可能包括整合自监督学习³⁰ 或迁移学习³¹，这将进一步减少对标注数据的需求，同时保持高分割精度。这些策略还可扩展至多种成像模态，例如多光子显微镜或光片显微镜。

尽管该方案具有诸多优势，但仍存在一些局限性需要指出。首先，数据集规模仍然相对较小，每个结构仅包含少量标注的体数据。虽然数据增强在一定程度上缓解了这一问题，但在将微调后的模型应用于样本制备或成像条件存在未见变异的数据集时，仍存在过拟合的风险。其次，尽管我们的结果表明模型在不同图像区域和动物之间具有良好的泛化能力，但尚未在来自其他器官或显微成像模态的数据集上测试该工具箱，而这些数据可能表现出截然不同的结构特征和噪声特性，从而限制了本方法的即时可推广性。最后，我们的评估策略虽然在图像块层面具有稳健性，但仍可引入更多用于评估拓扑一致性的指标，这对于网络状结构尤为重要。未来的工作将通过扩展数据集规模、引入领域自适应技术³²，以及在更广泛的生物学背景下验证该流程，来解决上述局限性。

综上所述，本实验方案为生物成像中管状结构的高质量三维分割提供了一种易于获取且全面的解决方案。通过结合高效模型架构、数据增强策略以及交互式、用户友好的界面，我们的工具箱有望拓展深度学习在生物图像分析中的应用范围与影响力，使全球研究人员能够利用这些技术，进一步深入理解生物结构与功能。

材料

本文使用的材料清单

姓名	公司	目录编号	评论
Fiji			https://imagej.net/software/fiji/downloads
GitHub 仓库			https://github.com/hernanmorales-navarrete/3DMicroscopyImage Segmentation/tree/main
Labkit			https://imagej.net/plugins/labkit/
Zenodo 仓库			10.5281/zenodo.14029574