[论文解读] Towards data-driven stroke rehabilitation via wearable sensors and deep learning

Aakash Kaku, Avinash Parnandi+4 more|arXiv (Cornell University)|Apr 14, 2020

Stroke Rehabilitation and RecoveryMedicine参考文献 23被引用 20

一句话总结

本研究提出一种基于数据驱动的方法，利用可穿戴惯性测量单元（IMUs）和深度学习模型，自动识别康复活动中的功能性运动基元——即康复活动的基本构建模块。该方法采用针对物理量的嵌入与实例归一化的卷积神经网络，实现了70%的平均分类准确率，从而能够客观、细致地追踪治疗重复次数。

ABSTRACT

Recovery after stroke is often incomplete, but rehabilitation training may potentiate recovery by engaging endogenous neuroplasticity. In preclinical models of stroke, high doses of rehabilitation training are required to restore functional movement to the affected limbs of animals. In humans, however, the necessary dose of training to potentiate recovery is not known. This ignorance stems from the lack of objective, pragmatic approaches for measuring training doses in rehabilitation activities. Here, to develop a measurement approach, we took the critical first step of automatically identifying functional primitives, the basic building block of activities. Forty-eight individuals with chronic stroke performed a variety of rehabilitation activities while wearing inertial measurement units (IMUs) to capture upper body motion. Primitives were identified by human labelers, who labeled and segmented the associated IMU data. We performed automatic classification of these primitives using machine learning. We designed a convolutional neural network model that outperformed existing methods. The model includes an initial module to compute separate embeddings of different physical quantities in the sensor data. In addition, it replaces batch normalization (which performs normalization based on statistics computed from the training data) with instance normalization (which uses statistics computed from the test data). This increases robustness to possible distributional shifts when applying the method to new patients. With this approach, we attained an average classification accuracy of 70%. Thus, using a combination of IMU-based motion capture and deep learning, we were able to identify primitives automatically. This approach builds towards objectively-measured rehabilitation training, enabling the identification and counting of functional primitives that accrues to a training dose.

研究动机与目标

• 开发一种客观、可扩展的方法，用于测量中风康复训练剂量，因为目前该剂量仅通过治疗时间或人工观察进行粗略量化。
• 利用可穿戴IMU获取的运动学数据，识别并分类功能性运动基元——即最小化、具有特定目的的动作。
• 设计一种对患者间分布差异具有鲁棒性的深度学习模型，能够处理多模态传感器数据（如加速度、角速度）。
• 通过提供治疗重复次数的精细化、自动化计数，为未来的剂量-反应研究奠定基础。
• 克服先前方法的局限性，即仅将运动分类为功能性或非功能性，而无法识别运动内容。

提出的方法

• 本研究使用佩戴在身体上部的惯性测量单元（IMUs）捕获康复活动期间的高分辨率运动学数据（加速度和角速度）。
• 人工标注者将IMU数据分割并标注为功能性基元，构建了包含48名慢性中风患者的监督数据集。
• 设计了一种自定义的卷积神经网络（CNN），其包含针对不同物理量（如加速度、角速度）的独立嵌入模块，以保留传感器特异性特征。
• 在推理阶段，将批量归一化替换为实例归一化，以提高模型对新患者分布偏移的鲁棒性。
• 网络端到端训练，用于分类5种预定义的功能性基元：伸展、运送、抓握、释放和静止。
• 分类在10 ms的时间分辨率下进行，支持精细化的运动分析。

实验结果

研究问题

• RQ1 深度学习模型能否在慢性中风患者中准确识别IMU数据中的功能性运动基元？
• RQ2 为不同物理传感器量值使用独立嵌入是否能提升分类性能？
• RQ3 将批量归一化替换为实例归一化是否能增强模型在多样化患者群体中的鲁棒性？
• RQ4 该方法能否提供比治疗时间或功能性/非功能性运动二分法更精细、更客观的康复训练剂量测量？
• RQ5 在区分相似基元（如伸展与运送）时面临的主要挑战是什么，如何解决？

主要发现

• 所提出的深度学习模型在五种功能性基元上的平均分类准确率达到70%，显著高于随机猜测水平（20%）。
• 在传感器数据中为不同物理量使用独立嵌入，通过保留模态特异性特征，提升了模型性能。
• 实例归一化增强了模型对分布偏移的鲁棒性，尤其在应用于训练阶段未见的新患者时表现更优。
• 模型在区分“伸展”与“运送”以及“静止”与“稳定化”方面表现最弱，表明腕部IMU在捕捉细微抓握时机和手部姿势方面存在局限。
• 对于严重受损患者，模型性能下降，表明需要更大、更多样化的数据集以及更先进的泛化技术。
• 本研究证明了利用IMU数据与深度学习提取并计数功能性基元的可行性，为实现客观、数据驱动的康复剂量管理奠定了基础。