方法文章

用于增强分析脑瘫儿童与正常发育儿童节段间协调性的多模态运动捕捉工具箱

DOI:

10.3791/69604

2025年12月16日

本文内容

摘要

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本研究介绍了一种结合动作捕捉技术的工具箱,用于分析运动学信号,并通过角度-角度图量化全身协调模式。该工具箱旨在克服传统基于标记系统的局限性,适用于研究、临床及现场等多种环境,有助于推进针对运动障碍儿童的个体化护理和功能评估。

摘要

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

基于标记的三维运动捕捉系统是评估人体运动学模式的金标准,能够精确量化身体节段和关节的位置。然而,传统的基于标记的系统存在若干挑战,尤其对于患有神经功能障碍和感觉处理异常的儿童,例如脑性瘫痪患儿。这些挑战阻碍了运动学标记的使用,并限制了对运动模式的深入分析。近年来,基于深度学习的人体姿态估计的无标记运动捕捉系统取得了进展,使我们能够探索传统光学系统及其后续数据处理方法的低成本替代方案。本研究开发了一个集成化工具箱,结合了多种运动捕捉技术:科研级运动学设备、运动学簇标记、惯性测量单元、三维(3D)无标记系统,以及利用商用摄像头的二维(2D)无标记系统(通过MediaPipe实现)。在本研究中,我们展示了三维基于标记系统与二维无标记运动捕捉系统的对比结果,这是当前人体生物力学研究中的主要持续性问题,旨在通过髋-膝角度-角度图描述协调性运动模式。我们选择了环图(cyclogram)方法,因为它为分析身体节段间耦合运动所反映的协调性提供了稳健的度量指标和易于解释的分析框架。两名正常发育儿童和两名脑性瘫痪患儿完成了功能性运动任务——坐-站转移任务。研究结果表明,将多模态系统整合用于运动学分析具有可行性,为科研和临床环境提供了灵活性。此外,本研究提出的新型开源方法解决了许多存在感觉处理问题的患者群体所面临的挑战,有助于制定更先进且个体化的治疗方案。

引言

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

三维运动学动作捕捉评估为量化正常和异常运动模式提供了可靠的信息。此类信息在制定康复计划1以及建立患者使用临床设备的安全策略时至关重要(例如2,3)。对于患有神经源性功能障碍的儿童,这些运动学评估可通过分析步态4、坐-站转换任务5和上肢伸手动作6等不同功能任务中的协调模式变化,提供更精准的临床护理。

尽管三维(3D)运动学评估被认为是精确运动捕捉分析的金标准7,但在皮肤上放置运动学标记点是准确量化节段和关节运动的必要条件。这种基于标记点的评估要求操作者掌握特定的解剖学标志,同时受试者需能够耐受并接受固定在皮肤上的胶带。前者可以通过学习掌握,而后者在某些患者群体中则存在实际问题。例如,脑损伤或脑性瘫痪的儿童可能在感觉信息处理方面存在障碍8,9,10。这种障碍可能表现为感觉过敏,导致临床医生和研究人员无法在儿童皮肤上粘贴运动学标记点,从而影响对运动能力变化的量化以及个体化治疗方案的有效制定。

除了在患者群体皮肤上放置标记物的问题外,目前运动学研究中使用的大多数测量系统价格昂贵、局限于实验室环境,且需要由具备高度专业资质的人员操作,因此难以在常规临床实践中推广应用。然而,当前动作捕捉技术的进步为记录运动学数据提供了不同的方法。例如,基于深度学习技术的人体姿态自动估计已引起计算机视觉领域研究人员的关注。这类无标记动作捕捉技术可能为基于标记的动作分析所面临的技术与实际应用难题提供有前景的解决方案11。该方法不再依赖于对标记物的追踪,而是利用训练好的神经网络来估计全身解剖标志点的位置12。这一进展显著提升了人体姿态识别技术的整体效率与适应性。

已有充分证据表明,身体节段之间的运动学关系能够揭示支持运动模式变异性的潜在控制机制。尽管有多种方法可用于测量节段间的协调性13,但角度-角度图(周期图)能够对在特定时间段内节段/关节之间的耦合运动进行直观且可量化的分析14,15。由于许多脑瘫患儿因选择性运动控制受损而在执行全身运动模式时存在困难16,我们选择研究坐-站转移这一看似简单但具有复杂控制机制的运动17。本研究旨在验证一种开源工具箱的可行性,该工具箱结合了动作捕捉技术,以促进对残疾儿童协调模式的运动学评估。

在本研究中,我们将利用髋-膝关节周期图来展示躯干/骨盆与大腿/小腿节段之间的协调性,以髋关节和膝关节作为与坐-站生物力学相关的节段间耦合的代表性示例。选择髋-膝关节协调是因为它反映了在坐-站任务中驱动质心垂直移动的主要关节耦合,这一动作对于残疾儿童而言具有重要功能意义,这些儿童由于选择性运动控制受损16影响了关节协同作用,常常依赖代偿性的下肢策略。将不同技术(即从科研级三维运动学设备到市售摄像头)整合到一个处理工具箱中,使得该工具箱可在从科研环境到现场及临床环境的不同场景中灵活使用。此外,当因残疾儿童存在感觉处理异常而无法进行标记点放置时,该工具箱还可通过无标记点动作捕捉信号处理功能实现详细的运动学评估。

访问受限。请登录或开始试用以查看此内容。

方案

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本研究作为病例系列研究,采用四名儿童的代表性结果来验证方案的可行性,而非进行统计推断。研究纳入两名发育正常的儿童(男性,4岁,身高100 cm,体重14.5 kg;男性,10岁,身高144 cm,体重40.8 kg)和两名脑瘫患儿,粗大运动功能分级系统III级(女性,4岁,身高93 cm,体重13.8 kg;男性,4岁,身高102 cm,体重16.7 kg)。所有儿童及其父母或法定监护人均在参与前按照本机构审查委员会批准的研究方案(IRB-FY2024-33)签署了知情同意书/知情同意声明。

注意:尽管本实验方案描述了基于标记的三维和无标记二维运动捕捉系统的操作流程,但本研究的重点是无标记二维方法的应用,该方法代表了本研究的核心临床与实际应用。当前方案的核心实施需要一个基于标记的运动捕捉系统(至少8个摄像头)用于三维运动学数据采集,以及一个位于矢状面垂直位置的单个RGB摄像头(最低分辨率1920 × 1080像素,50 Hz)用于二维无标记捕捉。该方法适用于光照充足(> 500 lux)、背景干扰最少的受控临床或实验室环境。为提高在非理想环境下的鲁棒性,vailá 工具箱集成了预处理工具(例如画框掩膜、视频裁剪/缩放),允许用户将受试者与背景干扰隔离,或调整不理想的摄像机取景。主要局限性在于,对于表现出显著离面运动的儿童,单摄像头无标记方法的准确性会降低,因为该方法无法捕捉深度信息或摄像头视野之外的运动。用户应确保受试者在执行任务时保持在预定义的捕捉范围内,并维持矢状面的对齐,以优化无标记追踪的性能。

1. 测试前检查

  1. 打开红外运动捕捉相机系统和视频相机并进行预热。基于标记的红外运动捕捉系统需要大约 30-60 分钟的预热时间,以达到热稳定状态,方可进行校准和数据采集。确认采样频率为 100 Hz(基于标记系统的红外相机)和 50 Hz(无标记系统的视频相机)。
  2. 清除或遮盖捕捉范围内的反光物体。

2. 相机放置

  1. 基于标记的系统(3D相机系统)
    1. 将相机放置在距离运动区域中心约1.5-2.5米的位置,安装高度范围为0.5-2.5米。确保相机在捕捉体积周围均匀分布,以优化标记点的可见性,并在坐-站任务过程中尽量减少遮挡。采用不同的相机高度以提高三角测量精度并减少视线干扰。
    2. 目标体积内的每个点(儿童执行任务的区域)在任何时候都必须至少被两台相机同时捕捉,以符合标准的三维数据采集建议。根据儿童受试者的身体测量数据及所评估任务的要求来定义捕捉体积。
      注:工作空间中心位于地面以上约0.80米处。
    3. 使用基于标记系统的软件工具优化三个主要光学参数(变焦、光圈、对焦),以确保标定残差较低,并在多次试验中实现稳定的标记点追踪。
  2. 无标记系统(2D相机)
    1. 将视频相机置于受试者侧方3.0米处(若条件允许可更近,但需确保在整个任务过程中——从坐姿到站起——能完整看到受试者的全身),当受试者站立时,相机中心应对准骨盆高度,并与矢状面垂直。
    2. 调整光轴水平(无倾斜),并将图像中线对准髋关节中心区域。
    3. 为所有录像设置固定的成像参数。
      1. 将采集区域设置为感兴趣区域1920 × 1200像素,以确定有效分辨率。使用20毫米焦距镜头,并在整个实验过程中保持光圈(确保环境与受试者之间有足够的对比度)恒定。
      2. 设置帧率为50 Hz,并将快门持续时间固定为5 ms。应用以下硬件设置,并在数据采集期间不得更改:增益9.998,伽马0.4,黑电平0,饱和度1。
      3. 关闭所有自动曝光和白平衡调节功能,以防止图像外观随时间发生漂移。
        注:为调整对焦,可在受试者执行任务的位置放置一个标牌,上面用Calibri字体、加粗、字号48书写简短文字。在相机视野内,文字应清晰锐利,无可见模糊。
    4. 当使用任何具有明显畸变的镜头时,应准备Charuco/棋盘格18,19用于校准/去畸变(对于严格的矢状面静态任务可选)。
      ​注:所使用的基于标记和无标记视频相机系统均如图1所示。

用于运动追踪的红外和视频相机;Vicon Vero 和 FLIR Blackfly 型号的设置。
图 1:本研究中使用的两种相机系统的特写。 三维运动学系统的红外相机(左侧)由12台相机组成,用于基于标记的方法;一台视频相机(右侧)用于无标记方法。请点击此处查看该图的放大版本。

3. 同步化

注意:仅在同时使用不同系统时才需要执行此步骤。当仅使用单个运动学(2D 或 3D)系统时,无需在系统间进行同步。

  1. 在每次试验开始时,连接 LockLab(或等效的控制/同步单元),向两个系统发送晶体管-晶体管逻辑(TTL)触发信号。
  2. 如果无法使用硬件触发,则采用可见的发光二极管(LED)闪光(推荐方法),或由两个系统同时记录的可听拍击声,用于后续对齐。

4. 捕获体积校准(基于标记物的系统)

  1. 目视检查各相机的视野范围(包括红外相机和视频相机),从每个视野中移除不必要的物体。在基于标记系统的软件中,屏蔽无法从相机视野中移除的反光物体(例如其他相机)。
  2. 在实验任务执行的位置进行探杆校准。将探杆在整个采集体积范围内移动,以确保完全覆盖整个空间。仅当空间精度 ≤ 1 mm(平均残差)时,才接受该校准结果。
    注意:请验证在此过程中至少有三个相机同时观测到校准探杆。以接近实验任务中预期运动速度的速度在采集体积内移动探杆:对于高速任务,快速移动探杆;对于较慢动作,则缓慢扫动探杆。在校准过程结束时,检查软件指示,查看是否有相机未能获取足够多的探杆视图,并在这些相机的视野范围内进行额外的针对性探杆移动,然后再结束校准。当探杆移动平稳、采集体积内照明均匀且所有相机视野无遮挡时,探杆校准后的残差通常介于 0.3 至 0.8 mm 之间。
  3. 通过将校准探杆放置在定义测试空间内的指定原点位置来设定体积原点。根据制造商的说明定义地面平面。

5. 标记物放置(基于标记物的系统)

  1. 由经过培训的检查员根据 Plug-in Gait20,21,22 模型(图2)放置反光标记点。
  2. 在采集静态试验数据前,通过短暂的测试动作确认双侧髋关节、膝关节和躯干标记点的可见性(基于三维标记点的系统需要此步骤)。

运动捕捉标记点放置示意图及儿童佩戴传感器进行步态分析的方法。
图 2:本研究采用的 Plug-in Gait 模型改良方案。 采用标准标记点设置以定义下肢、骨盆、躯干和头部节段。为专注于下肢与躯干运动学分析,去除了上肢标记点。该改良方案在保留原始 Plug-in Gait 全身模型完整性的同时,排除了上肢运动对分析的干扰。请点击此处查看该图的放大版本。

6. 椅子与环境

  1. 使用无扶手的椅子,并调节座椅高度,使髋关节和膝关节角度约为90°,双脚平放在地面上。记录每位受试者的座椅高度(cm)。
  2. 提供均匀照明;避免在矢状面视图中出现背光和遮挡。确保背景均匀且具有高对比度。

7. 受试者指导与安全

  1. 确认录制文件中不包含任何可识别个人信息(仅使用每位参与者的非可识别字母数字代码)。
  2. 对于坐-站试验,确保参与者了解正确的指导说明和实验流程。
    1. 指导正常发育(TD)的参与者将双手置于髋部。
    2. 对于脑性瘫痪(GMFCS III级)儿童,根据需要提供手动辅助以实现直立站姿,同时确保安全性。
      注意:尽管儿科患者可能需要手动辅助以确保安全和完成任务,但应尽量减少对身体节段或标记点的遮挡,以免影响数据质量。
    3. 通过口头提示(“起”)引导动作,并允许参与者以自选的舒适速度完成坐-站过程。

8. 试验数据采集

  1. 在采集动态试验数据之前,先采集一次静态校准试验,受试者以双脚与肩同宽、双臂外展90°的中立姿势站立。
    1. 确保所有标记点至少被两个摄像头可见;在基于标记点的系统采集软件中确认所有摄像头中检测到的标记点比例≥95%。记录时长为2-3秒。一个三维视角帧中必须包含全部标记点。
    2. 在基于标记点的系统软件中,应用Plug-in Gait静态模型来定义关节中心和节段坐标系。通过检查三维骨骼可视化图像并确认解剖学上合理的关节中心位置,验证模型拟合的准确性。
      注意:此静态试验提供后续三维动态试验处理所需的生物力学模型参数。在此步骤中,需在基于标记点的系统软件中输入受试者的身体测量数据(如体重、身高、腿长等)。当儿童受试者在静态试验中需要人工辅助时,必须注意避免遮挡标记点,以免影响数据质量。
  2. 每位受试者记录三次坐-站转移23试验。两次试验之间的休息时间可根据受试者需要灵活安排,因为该任务对体力要求不高。
  3. 采用标准化的文件命名规则,包括组别(如TD、CP)、受试者字母数字编号和试验编号。
  4. 在基于标记点的系统软件中,使用已校准的摄像系统重建标记点轨迹。
    1. 根据Plug-in Gait标记点集合的命名规范对每个标记点进行标注。对于短暂的遮挡,使用自动填补功能(最大间隙长度:10帧)。
    2. 通过在三维视角下目视检查骨骼模型,验证标注的准确性。当所有标记点均正确标注且轨迹连续后,将试验数据导出为.c3d文件,供vailá工具箱分析使用。
  5. 将光学数据保存为.c3d格式,视频帧或视频流保存为无损或高比特率压缩文件。

9. 数据处理

注意:vailá 工具箱(v0.10.21)24 支持跨平台运行(Windows、macOS、Linux),需要 Python 3.12 或更高版本。无标记分析模块(例如 MediaPipe25)经过优化,可在标准 CPU 上高效运行,确保在无需专用硬件的临床环境中仍具备良好的可访问性。支持 CUDA 的 GPU 为可选配置,仅当用户选择其他高速引擎(例如 YOLO-Pose)以实现更快处理时才会启用。有关详细的执行命令、分步操作指南及完整文档,用户可访问工具箱的在线资源和集成帮助文件,网址为: https://github.com/vaila-multimodaltoolbox/vaila/tree/main/docs/modules/markerless-analysis。

  1. 基于标记的方法:在基于标记系统的软件中,处理静态和动态试验数据。将动态插件步态模型(Dynamic Plug-in Gait model)应用于已标记的标记点轨迹(参见步骤 7.4),以计算关节角度的时间序列。
    1. 将处理后的试验数据导出为 .c3d 文件,确保导出内容包含计算得到的关节角度时间序列(如髋关节、膝关节、踝关节角度)。
    2. 将处理后的 .c3d 文件导入 vailá 工具箱使用 vaila.load_c3d() 功能。该工具箱会自动从文件中提取预先计算的关节角度时间序列数据。
    3. 应用 4th使用集成滤波功能(如下文步骤 9.2.4 所述),对关节角度数据应用零滞后巴特沃斯低通滤波器(截止频率 6 Hz),以确保与无标记数据的处理保持一致。
    4. 随后在内部进行进一步分析(例如,生成节律图、计算协调性指标) vailá.
  2. 无标记方法:在内部加载 MediaPipe 姿态估计模块(v0.10.21) vailá设置以下参数:static_image_mode = False,model_complexity = 1-2(当 GPU/CPU 资源允许时使用级别 2 以获得更高精度),smooth_landmarks = True,min_detection_confidence = 0.6,min_tracking_confidence = 0.6。
    注意:此处可使用其他姿态估计框架,例如 OpenPose。
    1. 处理每一视频帧以提取 MediaPipe 33 个关键点(图3丢弃检测置信度低于阈值的帧,或对缺失数据进行插值。
      注意:MediaPipe 可检测 33 个身体关键点,包括面部、躯干和四肢的关键点(图3)。在本方案中,仅使用与坐-站动作分析相关的躯干和下肢标志点:肩部[标志点11(左肩)和12(右肩)]、髋部[标志点23(左髋)和24(右髋)]、膝部[标志点25(左膝)和26(右膝)]以及踝部[标志点27(左踝)和28(右踝)]。这些标志点由RGB视频自动检测,并基于视觉特征进行估计(而非采用Plug-in Gait模型中的反光标记点位置)。
    2. 确认所有关键解剖标志点(肩部、髋部、膝部、踝部)的检测置信度均不低于 0.7。
    3. (可选)如果镜头畸变相关,可在运行 MediaPipe 前使用标定参数(相机矩阵和畸变系数)对图像帧进行去畸变处理。
    4. YOLO-Pose:并行加载集成在 vailá.
      1. 使用默认权重配置模型以进行人体骨骼关键点检测(关键点集合与COCO格式一致)。通过YOLO主干网络对每一帧进行处理,以检测骨骼关键点,该网络针对运动模糊、遮挡或复杂背景条件下的鲁棒性能进行了优化。
      2. 应用时间平滑滤波器以减少帧间抖动,并将检测到的关键点与 MediaPipe 使用的坐标系对齐。
      3. 对于时间平滑滤波器,应用一个低通4th使用截止频率为6 Hz的四阶巴特沃斯滤波器对所有基于标记和无标记的关节角度时间序列数据进行滤波(坐-站动作的主要频率成分低于5 Hz),以去除高频噪声并保留运动信号。
      4. 使用该滤波器来实现 scipy.signal.butter()scipy.signal.filtfilt() 使用零相位前向-后向滤波以避免时间偏移的Python函数。
    5. 数据处理在 vailá:以标准化的 .csv 或 .json 格式导出两条流水线(MediaPipe 和 YOLO-Pose)的关键点轨迹。将元数据(帧编号、时间戳、检测置信度)与关键点坐标一并存储。这可确保不同方法之间的可比性以及分析结果的可重复性。
  3. 坐标定义与关节角度:在矢状面内,定义髋关节屈曲和膝关节屈曲角度,屈曲方向取正值。
    1. 对于无标记数据,根据 MediaPipe 关键点推导关节中心/节段(例如,髋关节:骨盆代理点;膝关节:股骨-胫骨;躯干:肩部-髋部节段),并使用一致的关节坐标系计算矢状面角度。
      注意:矢状面关节角度通过二维标记点坐标几何计算得出。 vailá 工具箱通过两个线段向量(向量 a 和向量 b)点积的反余弦值计算它们之间的夹角(θ):θ = arccos((a · b) / (|a| |b|))。髋关节屈曲定义为“躯干”向量(连接 MediaPipe 关键点 11/12 [肩部] 与 23/24 [髋部] 的向量)和“大腿”向量(连接 23/24 [髋部] 与 25/26 [膝部] 的向量)之间的夹角。膝关节屈曲定义为“大腿”向量(连接 23/24 [髋部] 与 25/26 [膝部] 的向量)和“小腿”向量(连接 25/26 [膝部] 与 27/28 [踝部] 的向量)之间的夹角。
    2. 对两种方法采用相同的符号规定和滤波处理(如需要),以方便比较。
  4. 时间同步:使用 LockLab 触发时间戳对两种方法的数据进行对齐;否则,通过数据流中首个可见的闪光/拍手帧进行对齐。
    1. 如有必要,在进行比较前将时间序列重采样至统一的时间基准。
  5. 定义运动周期:
    1. 从躯干前倾起始(躯干角速度达到正向阈值)至稳定直立站立定义坐-站周期:对于正常发育儿童,以躯干角速度接近零且膝关节完全伸展为标志;对于脑瘫儿童,则以稳定直立站立及颈椎标记点达到最高位置为准(基于标记点的系统)。
    2. 对于脑瘫患儿而言,由于其可能无法达到典型发育儿童所表现出的完全伸展状态(即躯干与骨盆对齐,髋关节屈曲0°,膝关节完全伸展),应以静态站立试验中所能达到的最直立姿势作为步态周期的结束点,并通过视觉检查确认其姿势稳定,以确保下一次试验前的站立状态稳定。
    3. 代表图谱不要进行时间归一化处理;应报告每次试验的实际任务持续时间。(如需要,可将时间归一化分析作为补充材料提供。)
  6. 环图计算与指标:绘制每次试验的髋关节(x轴)与膝关节(y轴)角度关系图,以生成髋-膝环图。
    1. 叠加试验及方法(基于标记物与无标记物)以进行视觉比较。
    2. 计算可选的汇总指标:髋/膝关节活动范围、环路面积、环路方向(主轴角度)和路径长度。
    3. 将处理后的时间序列和指标导出为 .csv 格式,用于统计分析。

用于步态研究的儿童身体运动捕捉点运动学分析示意图。
图3:MediaPipe 的 33 个关键点。在本研究中,我们仅使用了与坐-站任务相关的关键点,具体包括关键点 11 和 12(肩部)、23 和 24(髋部)、25 和 26(膝部)以及 27 和 28(踝部)。请点击此处查看该图的放大版本。

访问受限。请登录或开始试用以查看此内容。

结果

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

基于开源 Python 的工具箱成功量化了儿童参与者在坐-站任务中来自基于标记和无标记系统的髋-膝协调模式。为了提供与可视化环图相辅相成的定量比较,代表性试验的关键汇总指标(髋关节和膝关节活动范围)如表1所示。来自正常发育儿童的代表性角度-角度图(图4A、B)显示,无标记系统获得的协调模式与金标准三维基于标记的动作捕捉系统所获得的结果高度一致。该一致性证实了所提出的方法能够高保真地捕捉规范的全身协调策略,验证了该工具箱在受控条件下复现既定运动学结果的能力。

脑瘫患儿的代表性结果如图所示 图4C,D正如预期,整体协调模式与正常发育儿童不同,反映了该患者群体中常见的运动控制改变。需要注意的是,尽管运动范围相似(例如,基于标记的方法为20°至80°,无标记方法为0°至60°),但无标记与基于标记的结果在不同儿童之间并未完全一致。对于一名受试者(

访问受限。请登录或开始试用以查看此内容。

讨论

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本研究旨在验证并展示一种开源多模态工具箱的可行性和应用,该工具箱能够整合基于标记点和无标记点的运动捕捉系统,用于分析儿童群体中的全身协调性。在代表性应用中,该方案成功生成了髋-膝关节环图,对于正常发育儿童,基于标记点和无标记点系统所得结果具有可比性;同时,在脑瘫儿童中,当运动超出矢状面(例如躯干横断面旋转)时,该方法也揭示了两种系统之间的相似性与差异性。我们有意在两个儿童病例系列中测试该工具箱,因为运动行为在不同年龄组(例如5岁与10岁)之间,以及正常发育儿童与脑瘫儿童之间存在差异。方案中的一个关键步骤是参考系统的选择和录制几何构型的设置。三维基于标记点的光学运动捕捉仍然是评估其他方法的基准标准26,27。在整合多模态数据流以进行跨方法验证时,静态校准和精确的时间同步至关重要28。本研究中,时间同步通过三维运动学系统的LockLab触发器实现;然而,当硬件触发不可用时,其他方法如可见LED闪光或光电二极管捕捉也可提供可靠的数据对齐29

访问受限。请登录或开始试用以查看此内容。

披露

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者无任何利益冲突需要披露。

致谢

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

我们感谢物理治疗研究基金会提供的2023年儿科物理治疗研究资助(项目负责人:Cesar)、MedNexus研究创新基金以及尤妮斯·肯尼迪·施莱佛国家儿童健康与人类发育研究所资助(1R03HD114548-01)所提供的经费支持。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
FLIR Blackfly 相机FLIR Systems型号:BFS-U3-200S6C-C用于二维无标记动作捕捉(50 Hz,1980×1200 像素)
Hikvision PoE 相机Hikvision无适用型号用于二维无标记动作捕捉的替代视频录制设备
LockLab 硬件触发器ViconLockLab用于时间同步
Logitech C920 相机LogitechHD Pro Webcam C920用于无标记动作捕捉的替代消费级相机
MediaPipeGoogle Researchv0.10.21用于实时二维姿态估计。可在线获取:https://ai.google.dev/edge/mediapipe/solutions/guide
OpenPose 软件卡内基梅隆大学 / OpenPose 社区版本 1.7.0用于实时二维姿态估计
Plug-in Gait 全身模型Vicon标准模型作为解剖标记放置的生物力学模型
Vero 红外相机ViconVero 系列用于三维基于标记的动作捕捉(100 Hz)

参考文献

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Tavernese, E., Paoloni, M., Mangone, M., Castelli, E., Santilli, V. Coordination between pelvis and shoulder girdle during walking in bilateral cerebral palsy. Clin Biomech. 32, 142-149 (2016).
  2. Cesar, G. M., Buster, T. W., Gonabadi, A. M., Burnfield, J. M. Muscle demand and kinematic similarities between pediatric-modified motor-assisted elliptical training at fast speed and fast overground walking:Real-world implications for pediatric gait rehabilitation. J Electromyogr Kinesiol. 63, 102639(2022).
  3. Burnfield, J. M., Cesar, G. M., Buster, T. W., Irons, S. L., Nelson, C. A. Kinematic and muscle demand similarities between motor-assisted elliptical training and walking:Implications for pediatric gait rehabilitation. Gait Posture. 51, 194-200 (2017).
  4. Swinnen, E., Van Goten, L., De Koster, B., Degelaen, M. Thorax and pelvis kinematics during walking, a comparison between children with and without cerebral palsy:A systematic review. NeuroRehabilitation. 38 (2), 129-146 (2016).
  5. Boonyong, S., Suriyaamarit, D. The effects of anterior seat inclination on movement time, mechanical work and kinematics during sit-to-stand in children with spastic diplegic cerebral palsy. Disabil Rehabil Assist Technol. 16 (5), 479-482 (2021).
  6. Aboelnasr, E. A., Hegazy, F. A., Altalway, H. A. Kinematic characteristics of reaching in children with hemiplegic cerebral palsy:A comparative study. Brain Inj. 31 (1), 83-89 (2017).
  7. Suo, X., Tang, W., Li, Z. Motion capture technology in sports scenarios:A survey. Sensors. 24 (9), 2947(2024).
  8. Thielen, H., Tuts, N., Welkenhuyzen, L., Huenges Wajer, I. M., Lafosse, C., Gillebert, C. R. Sensory sensitivity after acquired brain injury:A systematic review. J Neuropsychol. 17 (1), 1-31 (2023).
  9. de Sain, A. M., et al. Sensory hypersensitivity after acquired brain injury:The patient perspective. Disabil Rehabil. 46 (16), 3586-3593 (2024).
  10. Pavão, S. L., Rocha, N. A. Sensory processing disorders in children with cerebral palsy. Infant Behav Dev. 46, 1-6 (2017).
  11. Realtime multi-person 2D pose estimation using part affinity fields. Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. Proc IEEE Conf Comput Vis Pattern Recognit, 2017, 1302-1310 (2017).
  12. Mathis, A., et al. DeepLabCut:Markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
  13. Dubois, A., et al. A guide to inter-joint coordination characterization for discrete movements:A comparative study. J Neuroeng Rehabil. 20, 132(2023).
  14. Saegner, K., et al. Inter-joint coordination with and without dopaminergic medication in Parkinson's disease:A case-control study. J Neuroeng Rehabil. 21, 118(2024).
  15. Hallemans, A., Aerts, P. Effects of visual deprivation on intra-limb coordination during walking in children (3-11 years) and adults:Thigh-shank and shank-foot angle-angle plots reveal modulation of loop shape with visual condition. Exp Brain Res. 198 (1), 95-106 (2009).
  16. Yun, G., Huang, M., Cao, J., Hu, X. Selective motor control correlates with gross motor ability, functional balance and gait performance in ambulant children with bilateral spastic cerebral palsy. Gait Posture. 99, 9-13 (2023).
  17. Park, E. S., et al. The characteristics of sit-to-stand transfer in young children with spastic cerebral palsy based on kinematic and kinetic data. Gait Posture. 17 (1), 43-49 (2003).
  18. Bradski, G. The OpenCV library. Dr Dobb's J Softw Tools. 120, 122-125 (2000).
  19. Garrido-Jurado, S., Muñoz-Salinas, R., Madrid-Cuevas, F. J., Marín-Jiménez, M. J. Automatic generation and detection of highly reliable fiducial markers under occlusion. Pattern Recognit. 47 (6), 2280-2292 (2014).
  20. Kadaba, M. P., Ramakrishnan, H. K., Wootten, M. E. Measurement of lower extremity kinematics during level walking. J Orthop Res. 8 (3), 383-392 (1990).
  21. Davis, R. B., Õunpuu, S., Tyburski, D., Gage, J. R. A gait analysis data collection and reduction technique. Hum Mov Sci. 10, 575-587 (1991).
  22. Vicon Motion Systems Ltd. Plug-in gait reference guide. , Vicon Motion Systems Ltd. Oxford. https://help.vicon.com/download/attachments/11378719/Plug-in%20Gait%20Reference%20Guide.pdf (2016).
  23. Romin, E., Lindgren, A., Rodby-Bousquet, E., Cloodt, E. Sit-to-stand performance in children with cerebral palsy: A population-based cross-sectional study. BMC Musculoskelet Disord. 25 (1), 460(2024).
  24. vailá: A multimodal toolbox for analysis and integration in biomechanics. Santiago, P. R. P., Chinaglia, A. G., Bedo, B. L. S., Mochida, L. Y., Cesar, G. M. Int Soc Biomech Conf, July 27-31, Stockholm, Sweden, , (2025).
  25. MediaPipe v0.10.21. , MediaPipe. Available at: https://pypi.org/project/mediapipe/ (2025).
  26. Kim, D., et al. Learning-based 3D human kinematics estimation using behavioral constraints from activity classification. Nat Commun. 16 (1), 3454(2025).
  27. Friedrich, M. U., et al. Validation and application of computer vision algorithms for video-based tremor analysis. NPJ Digit Med. 7 (1), 165(2024).
  28. Cappozzo, A., et al. Human movement analysis using stereophotogrammetry. Gait Posture. 21 (2), 186-196 (2005).
  29. Maas, S. A., Göcking, T., Stojan, R., Voelcker-Rehage, C., Kutz, D. F. Synchronization of neurophysiological and biomechanical data in a real-time virtual gait analysis system (GRAIL):A proof-of-principle study. Sensors. 24 (12), 3779(2024).
  30. Wade, L., Needham, L., McGuigan, P., Bilzon, J. L. Applications and limitations of current markerless motion capture methods for clinical gait biomechanics. PeerJ. 10, e13292(2022).
  31. Wade, L., et al. Examination of 2D frontal and sagittal markerless motion capture:Implications for markerless applications. PLoS One. 18 (11), e0293917(2023).
  32. Arbogast, K. B., et al. Consensus head acceleration measurement practices (CHAMP): Origins, methods, transparency and disclosure. Ann Biomed Eng. 50 (11), 1317-1345 (2022).
  33. Yang, J., Park, K. Improving gait analysis techniques with markerless pose estimation based on smartphone location. Bioengineering. 11 (2), 141(2024).
  34. Washabaugh, E. P., Shanmugam, T. A., Ranganathan, R., Krishnan, C. Comparing the accuracy of open-source pose estimation methods for measuring gait kinematics. Gait Posture. 97, 188-195 (2022).
  35. Lee, H., et al. Automated gait analysis based on a marker-free pose estimation model. Sensors. 23 (14), 6489(2023).
  36. Hundza, S. R., et al. Multi-view gait analysis by temporal geometric features of human body parts. Appl Sci. 14 (7), 2824(2024).
  37. Shvets, A., et al. Improving gesture recognition efficiency with MediaPipe and YOLO-Pose. Int Arch Photogramm Remote Sens Spatial Inf Sci. 48, 13-18 (2025).
  38. Gonabadi, A. M., Cesar, G. M., Buster, T. W., Burnfield, J. M. Effect of gap-filling technique and gap location on linear and nonlinear calculations of motion during locomotor activities. Gait Posture. 94, 85-92 (2022).
  39. Cesar, G. M., Buster, T. W., Burnfield, J. M. Cardiorespiratory fitness, balance and walking improvements in an adolescent with cerebral palsy (GMFCS II) and autism after motor-assisted elliptical training. Eur J Physiother. 22 (3), 124-132 (2020).
  40. Basystiuk, O., Rybchak, Z., Zavushchak, I., Marikutsa, U. Evaluation of multimodal data synchronization tools. Comput Des Syst Theory Pract. 6, 104-111 (2024).

访问受限。请登录或开始试用以查看此内容。

重印与许可

申请许可以重复使用本 JoVE 文章的文本或图表

申请许可

标签

相关文章