DeepBehavior 深度学习工具箱用于自动化行为分析的逐步实现

进行详细的行为分析对于理解大脑与行为之间的关系至关重要。评估行为的最佳方法之一是通过细致的观察。然而，对所观察到的行为进行量化既耗时又具有挑战性。

传统的行为分析方法难以量化，且具有内在的主观性。近年来，作为机器学习与人工智能领域的一个分支，深度学习的发展为图像和视频的自动化、客观量化提供了新的机遇。本文介绍了我们近期开发的利用深度神经网络对啮齿类动物和人类进行精细行为分析的方法。

该技术的主要优势在于其灵活性，以及适用于任何用于行为分析的成像数据。DeepBehavior 工具箱支持单个目标识别、多目标检测以及人体姿态追踪。我们还提供了基于 MATLAB 的后处理代码，以实现更深入的运动学分析方法。

首先设置 Tensor Box。激活环境，然后使用 GitHub 克隆 Tensor Box 并将其安装到计算机及附加依赖项中。接下来，启动标注图形用户界面，从行为帧的广泛分布中至少标注 600 张图像。

要标注图像，请单击目标对象的左上角，然后单击其右下角。接着确保边界框完整包含整个对象。单击“下一步”以进入下一帧。

要将训练图像与网络超参数文件关联，请在文本编辑器中打开 overfeat_rezoom.json 文件，并将 train_idl 下的文件路径替换为 labels.json。然后在 test-idl 下添加相同的文件路径，并保存更改。

启动训练脚本，该脚本将开始进行 600,000 次迭代的训练，并在输出文件夹中生成卷积神经网络的训练权重。然后对新图像执行预测，并以带标签的图像和边界框坐标的形式查看网络的输出结果。安装 YOLOv3。

然后，将图像放入 Yolo_mark-data-obga 文件夹中，并在图形用户界面中逐一使用 Yolo_mark 对训练数据进行标注，共标注约 200 张图像。接下来，配置参数文件。

要修改配置文件，请打开 YOLO-obj.cfg 文件夹。修改 batch、subdivision 和 classes 行。

然后在每个 YOLO 层之前的卷积层中更改滤波器。下载网络权重文件，并将其放入 darknet-build.x64 文件夹中。

运行训练算法，完成后查看迭代结果。为追踪人体中的多个身体部位，需先安装 OpenPose，然后使用它处理目标视频。DeepBehavior 工具箱的功能已在小鼠执行食丸抓取任务的视频上得到验证。

用标签标记其右爪，并通过正面和侧面摄像头追踪运动。经过相机校准的后处理，获得抓取动作的三维轨迹。由于可同时追踪多个物体，YOLOv3 的输出为多个边界框。

边界框围绕的是感兴趣的对象，这些对象可以是身体的各个部位。在OpenPose中，网络检测出关节位置，随后通过相机校准进行后处理，从而构建出受试者的三维模型。本方案中未涵盖的一个关键步骤是：在开始之前，需确保设备已安装适当版本的Python及相关依赖项，并配置了支持GPU的环境。

在成功从网络中获取轨迹行为后，可进行额外的后处理，以进一步分析行为的运动学特征和行为模式。DeepBehavior 工具箱之所以适用于啮齿类动物和人类疾病模型的诊断方法，是因为其并非直接提供治疗益处。本实验室目前正在积极研究将这些技术作为诊断或预后工具的应用。

该技术正被用于研究啮齿类动物熟练运动行为的神经机制，同时也被应用于临床研究，以评估神经系统疾病患者的运动功能恢复情况。