[论文解读] Rapid-Motion-Track: Markerless Tracking of Fast Human Motion with Deeper Learning

Renjie Li, Chun Yu Lao+6 more|arXiv (Cornell University)|Jan 18, 2023

Stroke Rehabilitation and RecoveryMedicine被引用 3

一句话总结

Rapid-Motion-Track (RMT) 是一种新颖的端到端深度学习系统，可使用标准30fps笔记本电脑网络摄像头，实现对快速人体运动（如频率高达8Hz的指尖敲击）的高精度、无标记追踪。通过利用多尺度特征融合网络（P-MSDSNet）和自适应顶点识别算法，RMT 在 ±0.5Hz 范围内实现了 97.3% 的运动特征与金标准可穿戴传感器数据一致，显著优于 DeepLabCut（在 ±0.5Hz 范围内为 88.2%）。

ABSTRACT

Objective The coordination of human movement directly reflects function of the central nervous system. Small deficits in movement are often the first sign of an underlying neurological problem. The objective of this research is to develop a new end-to-end, deep learning-based system, Rapid-Motion-Track (RMT) that can track the fastest human movement accurately when webcams or laptop cameras are used. Materials and Methods We applied RMT to finger tapping, a well-validated test of motor control that is one of the most challenging human motions to track with computer vision due to the small keypoints of digits and the high velocities that are generated. We recorded 160 finger tapping assessments simultaneously with a standard 2D laptop camera (30 frames/sec) and a high-speed wearable sensor-based 3D motion tracking system (250 frames/sec). RMT and a range of DLC models were applied to the video data with tapping frequencies up to 8Hz to extract movement features. Results The movement features (e.g. speed, rhythm, variance) identified with the new RMT system exhibited very high concurrent validity with the gold-standard measurements (97.3\% of RMT measures were within +/-0.5Hz of the Optotrak measures), and outperformed DLC and other advanced computer vision tools (around 88.2\% of DLC measures were within +/-0.5Hz of the Optotrak measures). RMT also accurately tracked a range of other rapid human movements such as foot tapping, head turning and sit-to -stand movements. Conclusion: With the ubiquity of video technology in smart devices, the RMT method holds potential to transform access and accuracy of human movement assessment.

研究动机与目标

• 开发一种计算机视觉系统，能够使用标准低帧率网络摄像头，准确追踪快速人体运动（如频率超过4Hz的指尖敲击）。
• 克服现有深度学习模型（如 DeepLabCut）在高速运动导致的运动模糊情况下因低帧率视频失效的局限性。
• 通过利用无处不在的网络摄像头技术，实现在远程医疗和人群筛查中可扩展、客观的运动功能评估。
• 直接输出经过验证的运动特征（如速度、节奏、方差），而非仅关键点坐标，提升临床和研究应用的实用性。
• 将系统的适用范围从指尖敲击扩展到其他快速运动，如脚趾敲击、头部转动和起坐转换。

提出的方法

• 提出一种新颖的深度学习架构 P-MSDSNet，通过并行方式在相同和不同深度层级之间融合多尺度特征，以提升在模糊帧上的关键点检测性能。
• 实现一种自适应顶点识别算法，即使在存在噪声和不平滑的情况下，也能准确识别距离-时间曲线中的峰和谷，从而实现鲁棒的特征提取。
• 使用标准30fps笔记本电脑网络摄像头和高速250fps可穿戴 Optotrak 传感器同步采集的视频，对 RMT 系统进行端到端训练与验证。
• 采用双输入流水线：一个用于通过 P-MSDSNet 进行指尖关键点检测，另一个用于在生成的时间序列数据上使用自适应顶点检测进行特征提取。
• 将 RMT 的性能与多种最先进模型（包括 ResNet50 和 MobileNet 变体的 DeepLabCut）进行对比，使用金标准可穿戴传感器数据进行同步验证。
• 设计系统直接输出经过验证的运动特征，而非仅原始关键点位置，从而提升其在临床和研究应用中的可用性。

实验结果

研究问题

• RQ1 基于深度学习的系统能否在使用标准30fps网络摄像头的情况下，实现对快速人体运动（如频率超过4Hz的指尖敲击）的高精度无标记追踪？
• RQ2 在运动模糊和高速条件下，RMT 在追踪指尖运动方面的性能与 DeepLabCut 等最先进模型相比如何？
• RQ3 RMT 在无需高速摄像机或可穿戴传感器的情况下，能在多大程度上从低帧率视频中提取有效且可靠的运动特征（如速度、节奏、方差）？
• RQ4 RMT 能否使用同一框架有效泛化到其他快速人体运动，如脚趾敲击、头部转动和起坐转换？
• RQ5 与仅提供关键点坐标的系统相比，RMT 直接输出经过验证的运动特征是否显著提升了临床实用性？

主要发现

• RMT 在 ±0.5Hz 范围内实现了 97.3% 的运动特征与金标准 Optotrak 可穿戴传感器系统一致，表现出近乎完美的并发效度。
• 相比之下，DeepLabCut 模型（包括 ResNet50 和 MobileNet 变体）在 ±0.5Hz 范围内仅实现 88.2% 的测量值与 Optotrak 参考值一致，表明在高速条件下存在显著性能差距。
• RMT 有效追踪了高达 8Hz 的指尖敲击，而在此频率下，运动模糊使得现有计算机视觉模型（如 DLC）失效。
• P-MSDSNet 架构通过在不同深度层级之间融合多尺度特征，有效缓解了运动模糊，即使在低质量帧上也能实现更稳定、更精确的指尖追踪。
• 自适应顶点识别算法实现了对距离-时间曲线中峰和谷的鲁棒检测，确保在存在噪声或不平滑轨迹的情况下仍能实现准确的特征提取。
• RMT 在其他快速运动（如头部转动、脚趾敲击、腿部敏捷性及起坐转换）上也表现出良好的泛化能力，其有效性通过补充材料中的视觉和定量分析得到验证。