本研究介绍了一种结合动作捕捉技术的工具箱,用于分析运动学信号,并通过角度-角度图量化全身协调模式。该工具箱旨在克服传统基于标记系统的局限性,适用于研究、临床及现场等多种环境,有助于推进针对运动障碍儿童的个体化护理和功能评估。
方法文章
本研究介绍了一种结合动作捕捉技术的工具箱,用于分析运动学信号,并通过角度-角度图量化全身协调模式。该工具箱旨在克服传统基于标记系统的局限性,适用于研究、临床及现场等多种环境,有助于推进针对运动障碍儿童的个体化护理和功能评估。
基于标记的三维运动捕捉系统是评估人体运动学模式的金标准,能够精确量化身体节段和关节的位置。然而,传统的基于标记的系统存在若干挑战,尤其对于患有神经功能障碍和感觉处理异常的儿童,例如脑性瘫痪患儿。这些挑战阻碍了运动学标记的使用,并限制了对运动模式的深入分析。近年来,基于深度学习的人体姿态估计的无标记运动捕捉系统取得了进展,使我们能够探索传统光学系统及其后续数据处理方法的低成本替代方案。本研究开发了一个集成化工具箱,结合了多种运动捕捉技术:科研级运动学设备、运动学簇标记、惯性测量单元、三维(3D)无标记系统,以及利用商用摄像头的二维(2D)无标记系统(通过MediaPipe实现)。在本研究中,我们展示了三维基于标记系统与二维无标记运动捕捉系统的对比结果,这是当前人体生物力学研究中的主要持续性问题,旨在通过髋-膝角度-角度图描述协调性运动模式。我们选择了环图(cyclogram)方法,因为它为分析身体节段间耦合运动所反映的协调性提供了稳健的度量指标和易于解释的分析框架。两名正常发育儿童和两名脑性瘫痪患儿完成了功能性运动任务——坐-站转移任务。研究结果表明,将多模态系统整合用于运动学分析具有可行性,为科研和临床环境提供了灵活性。此外,本研究提出的新型开源方法解决了许多存在感觉处理问题的患者群体所面临的挑战,有助于制定更先进且个体化的治疗方案。
三维运动学动作捕捉评估为量化正常和异常运动模式提供了可靠的信息。此类信息在制定康复计划1以及建立患者使用临床设备的安全策略时至关重要(例如2,3)。对于患有神经源性功能障碍的儿童,这些运动学评估可通过分析步态4、坐-站转换任务5和上肢伸手动作6等不同功能任务中的协调模式变化,提供更精准的临床护理。
尽管三维(3D)运动学评估被认为是精确运动捕捉分析的金标准7,但在皮肤上放置运动学标记点是准确量化节段和关节运动的必要条件。这种基于标记点的评估要求操作者掌握特定的解剖学标志,同时受试者需能够耐受并接受固定在皮肤上的胶带。前者可以通过学习掌握,而后者在某些患者群体中则存在实际问题。例如,脑损伤或脑性瘫痪的儿童可能在感觉信息处理方面存在障碍8,9,10。这种障碍可能表现为感觉过敏,导致临床医生和研究人员无法在儿童皮肤上粘贴运动学标记点,从而影响对运动能力变化的量化以及个体化治疗方案的有效制定。
除了在患者群体皮肤上放置标记物的问题外,目前运动学研究中使用的大多数测量系统价格昂贵、局限于实验室环境,且需要由具备高度专业资质的人员操作,因此难以在常规临床实践中推广应用。然而,当前动作捕捉技术的进步为记录运动学数据提供了不同的方法。例如,基于深度学习技术的人体姿态自动估计已引起计算机视觉领域研究人员的关注。这类无标记动作捕捉技术可能为基于标记的动作分析所面临的技术与实际应用难题提供有前景的解决方案11。该方法不再依赖于对标记物的追踪,而是利用训练好的神经网络来估计全身解剖标志点的位置12。这一进展显著提升了人体姿态识别技术的整体效率与适应性。
已有充分证据表明,身体节段之间的运动学关系能够揭示支持运动模式变异性的潜在控制机制。尽管有多种方法可用于测量节段间的协调性13,但角度-角度图(周期图)能够对在特定时间段内节段/关节之间的耦合运动进行直观且可量化的分析14,15。由于许多脑瘫患儿因选择性运动控制受损而在执行全身运动模式时存在困难16,我们选择研究坐-站转移这一看似简单但具有复杂控制机制的运动17。本研究旨在验证一种开源工具箱的可行性,该工具箱结合了动作捕捉技术,以促进对残疾儿童协调模式的运动学评估。
在本研究中,我们将利用髋-膝关节周期图来展示躯干/骨盆与大腿/小腿节段之间的协调性,以髋关节和膝关节作为与坐-站生物力学相关的节段间耦合的代表性示例。选择髋-膝关节协调是因为它反映了在坐-站任务中驱动质心垂直移动的主要关节耦合,这一动作对于残疾儿童而言具有重要功能意义,这些儿童由于选择性运动控制受损16影响了关节协同作用,常常依赖代偿性的下肢策略。将不同技术(即从科研级三维运动学设备到市售摄像头)整合到一个处理工具箱中,使得该工具箱可在从科研环境到现场及临床环境的不同场景中灵活使用。此外,当因残疾儿童存在感觉处理异常而无法进行标记点放置时,该工具箱还可通过无标记点动作捕捉信号处理功能实现详细的运动学评估。
访问受限。请登录或开始试用以查看此内容。
本研究作为病例系列研究,采用四名儿童的代表性结果来验证方案的可行性,而非进行统计推断。研究纳入两名发育正常的儿童(男性,4岁,身高100 cm,体重14.5 kg;男性,10岁,身高144 cm,体重40.8 kg)和两名脑瘫患儿,粗大运动功能分级系统III级(女性,4岁,身高93 cm,体重13.8 kg;男性,4岁,身高102 cm,体重16.7 kg)。所有儿童及其父母或法定监护人均在参与前按照本机构审查委员会批准的研究方案(IRB-FY2024-33)签署了知情同意书/知情同意声明。
注意:尽管本实验方案描述了基于标记的三维和无标记二维运动捕捉系统的操作流程,但本研究的重点是无标记二维方法的应用,该方法代表了本研究的核心临床与实际应用。当前方案的核心实施需要一个基于标记的运动捕捉系统(至少8个摄像头)用于三维运动学数据采集,以及一个位于矢状面垂直位置的单个RGB摄像头(最低分辨率1920 × 1080像素,50 Hz)用于二维无标记捕捉。该方法适用于光照充足(> 500 lux)、背景干扰最少的受控临床或实验室环境。为提高在非理想环境下的鲁棒性,vailá 工具箱集成了预处理工具(例如画框掩膜、视频裁剪/缩放),允许用户将受试者与背景干扰隔离,或调整不理想的摄像机取景。主要局限性在于,对于表现出显著离面运动的儿童,单摄像头无标记方法的准确性会降低,因为该方法无法捕捉深度信息或摄像头视野之外的运动。用户应确保受试者在执行任务时保持在预定义的捕捉范围内,并维持矢状面的对齐,以优化无标记追踪的性能。
1. 测试前检查
2. 相机放置

图 1:本研究中使用的两种相机系统的特写。 三维运动学系统的红外相机(左侧)由12台相机组成,用于基于标记的方法;一台视频相机(右侧)用于无标记方法。请点击此处查看该图的放大版本。
3. 同步化
注意:仅在同时使用不同系统时才需要执行此步骤。当仅使用单个运动学(2D 或 3D)系统时,无需在系统间进行同步。
4. 捕获体积校准(基于标记物的系统)
5. 标记物放置(基于标记物的系统)

图 2:本研究采用的 Plug-in Gait 模型改良方案。 采用标准标记点设置以定义下肢、骨盆、躯干和头部节段。为专注于下肢与躯干运动学分析,去除了上肢标记点。该改良方案在保留原始 Plug-in Gait 全身模型完整性的同时,排除了上肢运动对分析的干扰。请点击此处查看该图的放大版本。
6. 椅子与环境
7. 受试者指导与安全
8. 试验数据采集
9. 数据处理
注意:vailá 工具箱(v0.10.21)24 支持跨平台运行(Windows、macOS、Linux),需要 Python 3.12 或更高版本。无标记分析模块(例如 MediaPipe25)经过优化,可在标准 CPU 上高效运行,确保在无需专用硬件的临床环境中仍具备良好的可访问性。支持 CUDA 的 GPU 为可选配置,仅当用户选择其他高速引擎(例如 YOLO-Pose)以实现更快处理时才会启用。有关详细的执行命令、分步操作指南及完整文档,用户可访问工具箱的在线资源和集成帮助文件,网址为: https://github.com/vaila-multimodaltoolbox/vaila/tree/main/docs/modules/markerless-analysis。

图3:MediaPipe 的 33 个关键点。在本研究中,我们仅使用了与坐-站任务相关的关键点,具体包括关键点 11 和 12(肩部)、23 和 24(髋部)、25 和 26(膝部)以及 27 和 28(踝部)。请点击此处查看该图的放大版本。
访问受限。请登录或开始试用以查看此内容。
基于开源 Python 的工具箱成功量化了儿童参与者在坐-站任务中来自基于标记和无标记系统的髋-膝协调模式。为了提供与可视化环图相辅相成的定量比较,代表性试验的关键汇总指标(髋关节和膝关节活动范围)如表1所示。来自正常发育儿童的代表性角度-角度图(图4A、B)显示,无标记系统获得的协调模式与金标准三维基于标记的动作捕捉系统所获得的结果高度一致。该一致性证实了所提出的方法能够高保真地捕捉规范的全身协调策略,验证了该工具箱在受控条件下复现既定运动学结果的能力。
脑瘫患儿的代表性结果如图所示 图4C,D正如预期,整体协调模式与正常发育儿童不同,反映了该患者群体中常见的运动控制改变。需要注意的是,尽管运动范围相似(例如,基于标记的方法为20°至80°,无标记方法为0°至60°),但无标记与基于标记的结果在不同儿童之间并未完全一致。对于一名受试者(
访问受限。请登录或开始试用以查看此内容。
本研究旨在验证并展示一种开源多模态工具箱的可行性和应用,该工具箱能够整合基于标记点和无标记点的运动捕捉系统,用于分析儿童群体中的全身协调性。在代表性应用中,该方案成功生成了髋-膝关节环图,对于正常发育儿童,基于标记点和无标记点系统所得结果具有可比性;同时,在脑瘫儿童中,当运动超出矢状面(例如躯干横断面旋转)时,该方法也揭示了两种系统之间的相似性与差异性。我们有意在两个儿童病例系列中测试该工具箱,因为运动行为在不同年龄组(例如5岁与10岁)之间,以及正常发育儿童与脑瘫儿童之间存在差异。方案中的一个关键步骤是参考系统的选择和录制几何构型的设置。三维基于标记点的光学运动捕捉仍然是评估其他方法的基准标准26,27。在整合多模态数据流以进行跨方法验证时,静态校准和精确的时间同步至关重要28。本研究中,时间同步通过三维运动学系统的LockLab触发器实现;然而,当硬件触发不可用时,其他方法如可见LED闪光或光电二极管捕捉也可提供可靠的数据对齐29
访问受限。请登录或开始试用以查看此内容。
作者无任何利益冲突需要披露。
我们感谢物理治疗研究基金会提供的2023年儿科物理治疗研究资助(项目负责人:Cesar)、MedNexus研究创新基金以及尤妮斯·肯尼迪·施莱佛国家儿童健康与人类发育研究所资助(1R03HD114548-01)所提供的经费支持。
访问受限。请登录或开始试用以查看此内容。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| FLIR Blackfly 相机 | FLIR Systems | 型号:BFS-U3-200S6C-C | 用于二维无标记动作捕捉(50 Hz,1980×1200 像素) |
| Hikvision PoE 相机 | Hikvision | 无适用型号 | 用于二维无标记动作捕捉的替代视频录制设备 |
| LockLab 硬件触发器 | Vicon | LockLab | 用于时间同步 |
| Logitech C920 相机 | Logitech | HD Pro Webcam C920 | 用于无标记动作捕捉的替代消费级相机 |
| MediaPipe | Google Research | v0.10.21 | 用于实时二维姿态估计。可在线获取:https://ai.google.dev/edge/mediapipe/solutions/guide |
| OpenPose 软件 | 卡内基梅隆大学 / OpenPose 社区 | 版本 1.7.0 | 用于实时二维姿态估计 |
| Plug-in Gait 全身模型 | Vicon | 标准模型 | 作为解剖标记放置的生物力学模型 |
| Vero 红外相机 | Vicon | Vero 系列 | 用于三维基于标记的动作捕捉(100 Hz) |
访问受限。请登录或开始试用以查看此内容。
申请许可以重复使用本 JoVE 文章的文本或图表
申请许可