Drosophila melanogaster 中行为追踪与自动量化分析的实验方案

摘要

本方案利用Python进行姿态估计，以追踪成对黑腹果蝇（Drosophila）的关键身体部位，从而实现对细微社会行为（尤其是社会互动行为）的自动化定量分析，并生成热图和运动轨迹。

摘要

为开发一种克服传统基于质心追踪方法局限性的开源分析工具，我们提出了一种用于精确分析自由活动动物社会互动行为的实验方案 果蝇 对。具体而言，本方案受高分辨率网络（HRNet）框架启发，旨在同时追踪五个解剖学关键点——头部、胸部、腹部以及左右翅尖，以生成高分辨率坐标数据，用于后续对社会行为的定量分析。本方案基于Python并结合我们设计的图形用户界面（GUI），提供了一套完整的工作流程，包括数据集构建、模型训练和自动化坐标提取，并集成了生成果蝇空间占用热图、运动轨迹及社会互动比率的模块。为验证该框架的有效性，我们使用了两种广泛使用的品系w1118和Canton-S（CS）进行测试。结果表明，关键点检测具有良好的稳定性，并揭示了不同基因型在空间利用和运动结构上的特异性差异。该方法为定量行为学及社会互动的自动化分析提供了可扩展的技术基础 果蝇，同时减少人工标注的工作量并提高可重复性。

引言

Drosophila melanogaster 是一种广泛使用的模式生物，具有强大的遗传学工具和神经环路清晰的特点，能够对行为机制进行深入解析¹。它表现出多种社会行为，包括求偶和攻击行为，以及强大的学习能力^{2,3,4,5,6,7,8}。这些行为均由不同的运动单元组成，并由结构紧凑但高度有序的神经系统进行调控。重要的是，精确测量身体姿态对于理解动作选择的神经基础至关重要，因为许多此类行为包含精细的姿态模式，这些模式编码了环境背景和内部状态的信息^9,10。

尽管需要达到单只果蝇的分辨率以捕捉个体差异，但许多高通量的黑腹果蝇（Drosophila）行为检测仍依赖于群体水平的指标¹¹。高通量行为检测包括用于检测社交偏好的T型迷宫实验^12,13、量化果蝇间距离的社交间距检测，或在感觉刺激下的聚集/回避范式¹⁴，这些方法能够高效地捕捉群体趋势。然而，这些方法本质上涉及对个体数据的平均化处理，因而掩盖了动作序列的异质性以及社交互动的时间结构。多年来，实现逐只果蝇识别的尝试主要依赖功能受限的方法，例如基于运动学阈值的规则事件检测、通过背景减除法进行质心追踪，以及人工视频标注^15,16,17,18。因此，诸如扑击、轻触或展翅威胁等离散行为常常被忽略或错误标记，需要大量人工校正。这些限制阻碍了需要神经活动与个体行为之间精确时间对齐的机制性研究。

得益于计算机视觉和基于机器学习的姿态估计技术的最新进展，一种革命性的解决方案现已问世。DeepLabCut¹⁹ 和 SLEAP²⁰ 等开源框架能够实现无标记的身体部位检测、离散行为的可扩展分类，并能在个体密切互动期间仍保持对个体身份的识别。这些功能克服了以往基于群体和规则驱动方法的局限性，实现了对复杂社会行为的可重复量化分析。

果蝇（Drosophila）个体间的相互作用具有独特的运动特征，可反映社会行为的进展过程。例如，攻击行为包括扑击、展翅威胁和扭打等典型动作，这些行为代表了冲突逐步升级的不同阶段^21,22。求偶行为同样具有一系列定义明确的动作，包括朝向、单侧展翅并发出鸣声、触碰以及尝试交配，这些行为共同构成了交配互动的时间序列²³。准确捕捉这些行为模式依赖于对身体姿态和关节运动的精确识别^24,25。在实际操作中，需要在长时间记录过程中保持高空间和时间分辨率，以确保能够精确检测细微的运动模式，并将其与神经活动准确对齐^25,26。

本文介绍了一种开源的、基于视觉的框架，用于自动识别五个解剖关键点——头部、胸部、腹部以及左右翅尖²⁷。该系统包含数据集构建、模型训练和坐标提取的完整工作流程，可输出适用于自定义行为分类的高分辨率时间序列数据。通过自动化人工标注过程并标准化分析流程，本方法实现了对社会交互行为的精细尺度定量分析，在显著减少分析所需时间和劳动的同时，提高了效率与可重复性。

为验证该系统的可靠性，我们将其应用于两种常用的实验室品系——w1118 和 Canton-S（CS），观察到在不同帧之间关键点检测稳定，并且在空间占据、轨迹特征以及基于头部距离和朝向角度的社会互动指标方面表现出基因型特异性的差异。研究人员可根据所需的时空分辨率（≥30 fps，≤0.5 mm/像素）和视频录制条件（照明与对比度）来评估本方案的适用性。像素尺寸可直接从相机设置中确定。可通过在成像视野内放置一只已知体长的果蝇进行校准。本方案特别 适用于以下情况：需要同时追踪两只自由互动的Drosophila并区分其个体身份；关注精细姿态（如头部角度和距离）而不仅仅是质心位置；记录时长超过10分钟，手动标注不可行；在后续分析中需要行为事件与神经活动（如钙成像或电生理记录）之间达到毫秒级的时间对齐。

方案

1. 果蝇准备

1. 在实验前，将约3–4日龄的果蝇在短暂的CO₂麻醉下收集并进行性别鉴定。
   注意：麻醉持续时间及CO₂流速可能因各实验室所用二氧化碳钢瓶的规格和压力而异。麻醉过程中应持续观察果蝇，CO₂暴露应仅维持至果蝇完全麻醉且运动完全停止为止。
2. 将每只果蝇单独放入含有标准玉米粉–琼脂–葡萄糖–酵母培养基的50 mL Falcon管中。
3. 将果蝇置于25 °C、12小时光照/12小时黑暗循环条件下饲养，直至使用。

2. 实验区域构建

1. 准备两块3 mm透明丙烯酸板和一块3 mm聚乙烯板。
2. 在聚乙烯板中央切割出四个圆形腔室（每个直径35 mm）。
3. 使用夹具将一块丙烯酸板与聚乙烯板固定，形成腔室底座；另一块丙烯酸板作为可拆卸盖板保留。

图 1：行为观察场及成像装置示意图。（A）图中展示了定制观察室的构建方式。该观察室由三层主要结构组成：一层 3 mm 厚的透明亚克力底板；一层 3 mm 厚的聚乙烯板，其上设有四个直径为 35 mm 的圆形切口，作为独立的腔室孔；以及第二层亚克力板，用作可拆卸的盖板。（B）使用 90° 适配夹具将相机垂直安装在 40 cm 高的光学支架上。进行俯视成像时，相机位于多层观察场正上方，其光轴与腔室表面垂直。请点击此处查看该图的放大版本。

3. 成像设置

1. 使用两个20 cm的光学立柱和一个40 cm的立柱，配合90°转接夹具进行组装。
2. 将相机（1280 × 1024 像素）垂直安装在40 cm立柱上，使其与实验区域表面垂直，并将帧率设置为150 fps。
3. 将实验区域放置在一块25 cm × 25 cm可调光的昼白光LED面板上，LED面板需覆盖漫射片。
4. 调节光照强度，使实验区域表面照度约为1500 lux。
   注意：确保在二值化预览中仍能清晰看到翅缘。避免照度超过>2000 lux，以防光源发热引起热应激，导致果蝇自然运动行为或分布发生改变。

4. 记录步骤

1. 在竞技场的每个角落下方放置 3 cm 厚的泡沫垫以稳定其位置。
2. 在 CO₂ 麻醉条件下将果蝇配对转移至实验腔室，并用上层丙烯酸板密封。
3. 记录前让果蝇适应环境 40 分钟。
4. 使用 MIAS.exe²⁷ 开始视频采集：按 q 键启动，按 c 键停止。
   注意：这将获得在标准化条件下自由互动的果蝇配对的连续视频记录。

5. 定义社交活动面板

1. 运行预处理脚本：python SoAL_PreProcess.py [video_file_path]
   注意：所有编码脚本均包含在 补充文件 1 中。
2. 标注腔室区域，并以基因型_年龄（天）×1（腔室数量）的形式分配元数据。（例如，CS_3 × 1）
3. 调整检测阈值滑块，直到二值图像中翅膀几乎不可见，以确保最佳的背景扣除和翅膀可见性。

6. 数据集准备

1. 运行以下命令创建一个新的数据集文件夹：
   python tools/SoAL_DatasetGen.py DATASETNAME 10（帧采样间隔）
   注意：帧采样间隔参数（“10”）借鉴自先前已发表的实验方案²⁷。较小的数值会增加采样密度和计算负载，而较大的数值会降低计算需求，可根据可用硬件性能和实验需求进行调整。
2. 在 ‘tools/SoAL_DatasetUtils.py’ 中设置视频路径和数据集路径
3. 启动手动标注界面：
   >python tools/SoAL_LabelUI.py DATASETNAME
   1. 帧导航：按空格键跳转到下一帧，按 Z 键返回上一帧。也可使用时间轴滑块进行导航。
   2. 关键点标注：在每幅图像中点击果蝇的正确位置（按特定顺序：头部、胸部、腹部、左翅和右翅），以标记5个关键点。
   3. 关键点选择：按下数字键可选择对应的关键点（以白色圆圈标示）。下一次点击将为所选关键点重新分配新的编号。
   4. 保存：关闭窗口或按 D 键以保存标注结果。
      注意：一个完整的训练集归档包含两个部分：一个图像目录和一个 annotation.json 文件。

7. 模型训练

1. 将数据集划分为训练集和验证集：
   python tools/SoAL_DatasetGen.py DATASETNAME divide
   在“dataset/”目录下将创建两个新文件夹。
2. 在 hrnet/fly_w32.yaml 中配置训练参数：
   旋转因子：15°
   缩放因子：0.35
   亮度因子：0.25
   批量大小：24
   训练轮数：200
3. 运行训练程序：
   python hrnet/tools/train.py --cfg hrnet/fly_w32.yaml
   当平均精度（AP）趋于稳定时终止训练；保留最佳模型（AP > 90%）。
4. 使用以下命令验证模型：
   python hrnet/tools/test.py --cfg hrnet/fly_w32.yaml
   结果：获得一个基于 HRNet 的稳健模型，可用于多果蝇关键点检测。

8. 运行检测程序

1. 将新的视频文件复制到视频目录中。
2. 按照步骤 5 所示标注元数据。
3. 运行检测程序：python SoAL_KptDetect.py all
4. 检查检测结果：
   python tools/SoAL_ViewKptUI.py excel_file_path (.cvs/xslx)
   结果：每只果蝇在各帧中的五个解剖学标志点的二维坐标。

9. 行为量化

1. 启动一个独立的图形用户界面应用程序用于分析（补充文件 2），并将坐标文件导入界面中。
2. 生成空间占用热图（实验区域位置的概率密度）。
3. 根据坐标时间序列重建运动轨迹。
4. 创建社会互动数据，包括头部距离、朝向以及衍生的社会状态。
   结果：标准化展示特定基因型的空间使用模式和运动动态。

结果

图1展示了用于记录黑腹果蝇（Drosophila）自然社交行为的实验区域几何结构、照明配置及相机放置方式。该装置可确保光照均匀，并提供稳定的成像条件，适用于姿态估计与坐标提取。

采用自动姿态估计算法对所有录制的视频进行处理，以提取每只果蝇预定义解剖关键点的二维坐标。该模型在视频帧中持续准确识别头部、胸部、腹部及翅膀关节，即使在果蝇近距离互动时亦能保持稳定检测。图2展示了一个代表性帧，其中叠加了关键点，显示了在整个录制过程中对多只果蝇的精确追踪以及关键点检测的稳定性。此步骤的可靠性确保了所提取的坐标时间序列可为后续定量分析提供坚实的基础。 图3展示了分析工作流程。

利用提取的坐标及其对应坐标的帧比例，我们生成了空间占据热图，以可视化果蝇在实验 arena 内位置的累积分布情况。这些热图总结了果蝇位置随...

讨论

我们的研究表明，基于机器学习的姿态估计算法为测量黑腹果蝇（Drosophila）中精细的社会互动提供了一种可扩展且可靠的方法。该方法通过追踪自由互动果蝇对中的五个解剖学关键点，克服了基于质心分析方法的局限性^15,16,17,18，从而获取由身体轴线提供的角度信息以及通过头部关键点推断出的头对头距离。我们的技术可通过追踪每帧视频中果蝇的质心坐标以获得运动路径，并结合五点标记点来估计头部朝向，进而重建空间占据模式和运动轨迹。在w1118和Canton‑S品系中均观察到稳定的关键点检测效果，表明该分析流程对运动动态的自然变异具有鲁棒性，为后续的行为分类提供了可重复的基础。这些能力对于解析社会行为中编码内部状态和情境信息的精细运动要素至关重要^8,9。

...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
琼脂	BioFroxx	8211GR500
相机(MV-CU013-A0UC)	Hikvision	MV-CU013-A0UC
二氧化碳	Messer	124-38-9
无水D(+)-葡萄糖	BioFroxx	1179GR500
果蝇窄瓶（Falcon管）	Biolgix	51-0500
乙醇	Chron Chemicals	64-17-5
LED面板	/	/	定制
对羟基苯甲酸甲酯	Sigma	99-76-3
聚乙烯板	/	/	定制
Python	/	version 3.6
蔗糖	DaMao	57-50-1
透明亚克力板	/	/	定制
酵母	Angel	100004237033