[论文解读] Towards human performance on automatic motion tracking of infant spontaneous movements.

Daniel Groos, Lars Adde+3 more|arXiv (Cornell University)|Oct 12, 2020

Infant Development and Preterm Care参考文献 36被引用 6

一句话总结

本研究基于大规模临床数据集（1,424段视频）开发了一种基于深度学习的婴儿自发运动追踪系统，采用四个卷积神经网络进行训练。表现最佳的模型在关键点估计方面达到了人类水平的精度——与评估者间变异程度相当——同时保持了适合临床部署的计算效率。

ABSTRACT

Assessment of spontaneous movements can predict the long-term developmental outcomes in high-risk infants. In order to develop algorithms for automated prediction of later function based on early motor repertoire, high-precision tracking of segments and joints are required. Four types of convolutional neural networks were investigated on a novel infant pose dataset, covering the large variation in 1 424 videos from a clinical international community. The precision level of the networks was evaluated as the deviation between the estimated keypoint positions and human expert annotations. The computational efficiency was also assessed to determine the feasibility of the neural networks in clinical practice. The study shows that the precision of the best performing infant motion tracker is similar to the inter-rater error of human experts, while still operating efficiently. In conclusion, the proposed tracking of infant movements can pave the way for early detection of motor disorders in children with perinatal brain injuries by quantifying infant movements from video recordings with human precision.

研究动机与目标

• 开发一种自动化系统，以精确追踪婴儿自发运动，支持发育结局的早期预测。
• 解决在多样化临床视频数据中婴儿运动模式和身体姿态高度可变的挑战。
• 评估卷积神经网络在真实临床环境中监测高危婴儿时的精度和计算效率。
• 弥合自动化运动追踪与人类专家标注精度之间的差距，用于儿科运动评估。

提出的方法

• 在包含1,424段临床视频的新颖大规模数据集上，训练并评估了四种类型的卷积神经网络，用于捕捉婴儿自发运动。
• 通过网络预测关键点位置，并与人类专家标注进行比较，以量化估计精度。
• 以人类专家之间的评估者间误差作为基准，评估自动化系统的性能。
• 通过测量计算效率，评估其在实时或近实时临床应用中的可行性。
• 对模型架构进行优化，以处理婴儿体型、姿势和运动动态的极大差异。
• 使用预测关键点与真实值之间偏差的度量指标评估性能。

实验结果

研究问题

• RQ1 深度学习模型能否在追踪婴儿自发运动时，实现与人类专家相当的关键点估计精度？
• RQ2 不同类型的卷积神经网络架构在多样化的真实世界婴儿运动视频数据集上的表现如何？
• RQ3 表现最佳模型的计算效率如何？是否适合临床部署？
• RQ4 与人工评估相比，该自动化系统在多大程度上降低了评估者间变异？

主要发现

• 表现最佳的卷积神经网络在关键点估计精度上与人类专家的评估者间误差相当。
• 该系统在真实临床数据集中，对多样化婴儿姿势、运动和视频质量表现出高度鲁棒性。
• 顶级模型的计算效率支持其在具有实时或近实时要求的临床环境中部署。
• 自动化追踪系统减少了对人工标注的依赖，同时保持了临床级别的精度。
• 结果表明，自动化运动追踪可作为高危婴儿脑损伤后运动障碍早期检测的可靠工具。
• 在1,424段视频的大规模数据集上的表现，证实了该系统在临床人群中的泛化能力。