基于深度学习的冷冻电子断层图像分割

本实验方案最令人振奋之处在于，它使任何实验室都能快速启动并运行这些深度学习协议，用于分割大量冷冻电子断层扫描（cryo-ET）数据。我们工作流程的主要优势在于，Dragonfly 为训练用于分割的多类别神经网络提供了专业级的计算环境，这能够显著加快分割过程。图像分割需要一定学习时间，因此请务必测试相关工具并掌握关键快捷键，以逐步优化和简化您的工作流程。

设置好软件后，依次点击“文件”和“导入图像文件”以开始导入图像。然后点击“添加”，找到图像文件所在位置，点击“打开”，再选择“下一步”，最后点击“完成”。通过点击“工具”并选择“尺寸单位管理器”，创建自定义强度标尺。

单击左下角的加号以创建新的维度单位。在所有相关断层图像中选择高强度和低强度特征。为该单位命名并设置缩写，然后保存自定义维度单位。

要将图像校准至自定义强度刻度，请在屏幕右侧“属性”列中的数据集上单击右键，然后选择“校准强度刻度”。接着，转到屏幕左侧的主选项卡，向下滚动至探针（probe）部分。使用适当直径的圆形探针工具，在断层图像的背景区域点击几处，并记录原始强度列中的平均数值。

对定位标记重复上述操作，然后单击校准。如有必要，在主选项卡的窗宽窗位部分使用区域工具调整对比度，使结构再次可见。在主选项卡的左侧，向下滚动至图像处理面板。

单击“高级”并等待新窗口打开。在属性面板中，选择要过滤的数据集，并通过单击数据集左侧的眼睛图标使其可见。接下来，从操作面板的下拉菜单中选择“直方图均衡化”作为第一项操作。

选择添加操作，点击高斯滤波，并将核维度更改为3D。添加第三项操作，然后选择非锐化掩模，并保留此项的输出。对所有切片应用均衡化并运行滤波，然后关闭图像处理窗口以返回主界面。

为了确定训练区域，首先点击数据集左侧的眼睛图标以隐藏未过滤的数据集，然后打开数据属性面板。接着，显示新过滤后的数据集。利用该过滤后的数据集，识别出包含所有目标特征的断层图像子区域。

现在，通过向下滚动至“形状”类别并选择主选项卡左侧的“创建方框”，在感兴趣区域周围创建一个方框。在四视图面板中，利用不同的二维平面辅助引导或拖动方框的边缘，确保该方框在所有维度上仅包围感兴趣区域。在数据列表中，选中该方框区域，并点击眼睛符号旁的灰色方块，更改其边框颜色，以便更清晰地观察。

要创建多区域（multi-ROI），请选择“分割”（Segmentation）选项卡，单击左侧的“新建”（New），并勾选“创建为多区域”（Create as multi-ROI）。确保类别数量等于感兴趣特征的数量加上一个背景类别。为多区域训练数据命名，并在单击“确定”前确认其几何结构与数据集相匹配。然后，滚动浏览数据，直至进入方框区域的范围内。

在右侧的属性菜单中选择“多区域（Multi-ROI）”。双击多区域中的第一个空白类别名称以对其进行命名。要使用2D画笔进行绘制，请在左侧的“分割”选项卡中向下滚动至2D工具，然后选择圆形画笔。

然后从下拉菜单中选择自适应高斯或局部OTSU，按住左Ctrl键并单击进行绘制，按住左Shift键并单击进行擦除。所有结构标注完成后，在多ROI中右键单击背景类别，并选择“将所有未标注体素添加到类别”。接下来，创建一个新的单类别ROI，命名为Mask。

确保将几何体设置为已过滤的数据集，然后点击应用。在右侧的属性选项卡中，右键单击方框，选择“添加到感兴趣区域”，并将其添加到掩膜感兴趣区域。要使用掩膜裁剪训练数据，请转到属性选项卡，按住 Ctrl 键并依次单击，同时选中训练数据、多感兴趣区域和掩膜感兴趣区域。

接下来，在布尔运算部分的数据属性列表下方单击“相交”(Intersect)。将新数据集命名为 trimmed training input，并确保几何体与过滤后的数据集相对应，然后单击“确定”。通过在“属性”选项卡中右键单击过滤后的数据集并选择“分割向导”(Segmentation Wizard) 选项，将训练数据导入分割向导。新窗口打开后，在右侧查找“输入”(Input) 选项卡。

单击“从多ROI导入帧”并选择裁剪后的训练输入。要生成新的神经网络模型，请在模型选项卡右侧单击加号按钮。从列表中选择U Net，选择2.5D和五个切片作为输入维度，然后单击生成。

要训练网络，请点击 Seg Wiz 窗口右下角的“Train”按钮。单元训练完成后，使用训练好的网络对新帧进行分割，创建一个新帧，然后点击“Predict”。接着点击预测帧右上角的向上箭头，将分割结果转移到实际帧中。

为修正预测结果，按住 Control 键并点击两个类别，以将其中一个类别的已分割像素更改为另一个类别。选择这两个类别后，使用画笔工具仅对属于其中任一类别的像素进行绘制。至少在五个新帧中修正分割结果。

进行迭代训练时，再次点击“训练”按钮，让网络继续训练额外的 30 到 40 个轮次。此时，停止训练并开始下一轮训练。当对网络的性能满意后，退出分割向导以发布该网络。

此时会弹出一个对话框，询问要发布哪些模型。请选择成功的网络，为其命名，然后发布，以便在分割向导之外使用该网络。首先，在属性面板中选择经过滤的数据集，以将其应用于训练断层图。

在左侧的“分割”面板中，向下滚动至“AI 分割”部分。确保已选择正确的数据集。在下拉菜单中选择最近发布的新模型，然后依次点击“分割”和“全部切片”。

要将模型应用于推断数据集，请导入新的断层图像，并按照之前的方法进行预处理。在分割面板中，进入“使用 AI 进行分割”部分。确保已选择新过滤的断层图像作为数据集，选择之前训练好的模型，点击“分割”按钮，然后选择“所有切片”。

首先选择一个已分割出噪声和目标特征的类别，以快速清除噪声。然后右键单击“处理岛屿”（Process Islands），选择“按体素数量移除”（Removed by Voxel Count），再点击“选择体素大小”（Select a Voxel Size）。从较小的数值开始，逐步增加数值，以去除大部分噪声。

进行分割校正时，按住 Control 键并单击两个类别，以绘制仅属于这两个类别的像素。使用分割工具时，按住 Control 键并拖动可将第二个类别的像素更改为第一个类别，按住 Shift 键并拖动则执行相反操作。一个五切片单元在一个单个断层图上进行训练，并通过手工分割提供训练输入。

显示了单元在完全训练后的二维分割结果。分割区域的三维渲染展示了膜结构、微管和肌动蛋白丝。图中还展示了与训练断层图像来自同一次实验的DIV 5大鼠海马神经元。

在无需额外训练的快速清理模式下，该单元的二维分割显示了膜、微管、肌动蛋白和定位标记物。还对分割区域进行了三维渲染可视化。此外，还观察了之前实验中培养5天的大鼠海马神经元。

还对该单元进行了快速清理后的二维分割以及三维渲染。在另一台 Titan Krios 电镜上，以不同放大倍数观察了 DIV 5 大鼠海马神经元。已使用 IMOD 程序中的 squeeze vault 功能调整像素大小，以匹配训练用断层图像。

通过对数据集进行适当的预处理并快速清理，该单元实现了稳健的二维分割，并完成了分割结果的三维渲染。对数据进行一致的预处理以及直方图校准，无疑是实现准确网络推断最重要的步骤。一旦在断层图中确定了分子的位置，在 Dragonfly 中计算定量测量值或坐标，并将这些坐标输入亚断层图平均流程，就变得非常简单。

我们才刚刚开始看到深度学习对冷冻电子断层扫描图像分析的影响，但这只是它展现出巨大前景的又一个领域。