[论文解读] Vision-based Estimation of MDS-UPDRS Gait Scores for Assessing Parkinson's Disease Motor Severity

Mandy Lu, Kathleen L. Poston+6 more|arXiv (Cornell University)|Jul 17, 2020

Parkinson's Disease Mechanisms and Treatments参考文献 26被引用 9

一句话总结

该论文提出一种基于视觉的方法，仅使用单目视频估计帕金森病患者的MDS-UPDRS步态评分，通过提取3D人体骨骼并应用结合混合序数-焦点损失的时序卷积神经网络（TCNN）对运动严重程度进行分类。该方法实现了0.83的F1得分和81%的平衡准确率，建立了首个基于临床规模视频数据的自动、非侵入性帕金森病步态严重程度评估基准。

ABSTRACT

Parkinson's disease (PD) is a progressive neurological disorder primarily affecting motor function resulting in tremor at rest, rigidity, bradykinesia, and postural instability. The physical severity of PD impairments can be quantified through the Movement Disorder Society Unified Parkinson's Disease Rating Scale (MDS-UPDRS), a widely used clinical rating scale. Accurate and quantitative assessment of disease progression is critical to developing a treatment that slows or stops further advancement of the disease. Prior work has mainly focused on dopamine transport neuroimaging for diagnosis or costly and intrusive wearables evaluating motor impairments. For the first time, we propose a computer vision-based model that observes non-intrusive video recordings of individuals, extracts their 3D body skeletons, tracks them through time, and classifies the movements according to the MDS-UPDRS gait scores. Experimental results show that our proposed method performs significantly better than chance and competing methods with an F1-score of 0.83 and a balanced accuracy of 81%. This is the first benchmark for classifying PD patients based on MDS-UPDRS gait severity and could be an objective biomarker for disease severity. Our work demonstrates how computer-assisted technologies can be used to non-intrusively monitor patients and their motor impairments. The code is available at https://github.com/mlu355/PD-Motor-Severity-Estimation.

研究动机与目标

• 开发一种非侵入性、基于计算机视觉的方法，仅使用单目视频记录来估计帕金森病患者的MDS-UPDRS步态评分。
• 通过设计一种利用MDS-UPDRS评分序数特性的损失函数，解决临床数据集中类别不平衡的挑战。
• 建立基于视频的3D姿态估计的自动、客观帕金森病运动严重程度评估新基准。
• 通过将昂贵的可穿戴设备或侵入性神经影像学方法替换为可访问的视频工具，实现帕金森病进展的可扩展远程监测。
• 证明从视频中提取的3D关节数据能够以高精度有效预测临床运动严重程度评分。

提出的方法

• 该方法采用两阶段流程：首先在公开数据集上使用预训练模型进行3D人体姿态估计，然后对姿态序列进行时序建模。
• 应用人员跟踪技术从视频中分离出患者，排除医生和其他人员。
• 从每一帧中提取3D关节坐标（骨骼），并将其作为时序卷积神经网络（TCNN）的输入。
• 提出一种新型混合损失函数，结合焦点损失以处理类别不平衡问题，以及序数损失以保持MDS-UPDRS评分（0至4）的有序性。
• 模型命名为OF-DDNet（混合序数-焦点DD-Net），在小规模、类别不平衡的临床数据集上进行训练，结合数据增强和留一法交叉验证。
• 通过使用归一化的姿态数据，对齐临床数据集与公开数据集（如CASIA）之间的分布，提升泛化能力。

实验结果

研究问题

• RQ1 能否利用MDS-UPDRS步态检查的单目视频准确估计帕金森病患者的MDS-UPDRS步态评分？
• RQ2 在小规模、类别不平衡的临床数据集上，混合序数-焦点损失在帕金森病运动严重程度分类中的有效性如何？
• RQ3 从视频中提取的3D姿态序列能否作为帕金森病步态严重程度的可靠且客观的生物标志物？
• RQ4 与基线模型和现有方法相比，所提出的视觉方法在F1得分和平衡准确率方面表现如何？
• RQ5 像DD-Net这样简单轻量的模型在不发生过拟合的情况下，能在临床视频数据上实现多大程度的泛化？

主要发现

• 所提出的OF-DDNet模型实现了0.83的F1得分和81%的平衡准确率，显著优于随机基线和竞争方法。
• 混合序数-焦点损失在基线交叉熵损失和单独损失组件的基础上进一步提升了性能，尤其在罕见类别（如评分2和3）上表现更优。
• 模型在类别0（对照组）和类别3（严重损伤）上表现最佳，而最难区分的是类别1与类别2，因其临床差异细微。
• 数据增强和留一法交叉验证有效缓解了小规模、类别不平衡数据集中的过拟合风险。
• 使用从视频中提取的3D姿态数据可实现高精度分类，且无需依赖视频背景或环境上下文信息。
• 该方法在低资源或偏远临床环境中，展现出在远程、可扩展监测帕金森病进展方面的强大潜力。