[论文解读] Multimodal Gait Recognition for Neurodegenerative Diseases

Aite Zhao, Jianbo Li+6 more|arXiv (Cornell University)|Jan 7, 2021

Gait Recognition and Analysis参考文献 42被引用 5

一句话总结

本文提出了一种新颖的多模态步态识别框架，通过融合来自多种传感器（如加速度计、力敏电阻、三维骨骼和轮廓图像）的数据，以提升神经退行性疾病（NDDs）和帕金森病（PD）严重程度的分类性能。该方法采用空间特征提取器（SFE）、相关记忆神经网络（CorrMNN）进行时序建模，以及多切换判别器进行联合特征学习，在SDUgait数据集上实现了98.79%的准确率，优于当前最先进的方法。

ABSTRACT

In recent years, single modality based gait recognition has been extensively explored in the analysis of medical images or other sensory data, and it is recognised that each of the established approaches has different strengths and weaknesses. As an important motor symptom, gait disturbance is usually used for diagnosis and evaluation of diseases; moreover, the use of multi-modality analysis of the patient's walking pattern compensates for the one-sidedness of single modality gait recognition methods that only learn gait changes in a single measurement dimension. The fusion of multiple measurement resources has demonstrated promising performance in the identification of gait patterns associated with individual diseases. In this paper, as a useful tool, we propose a novel hybrid model to learn the gait differences between three neurodegenerative diseases, between patients with different severity levels of Parkinson's disease and between healthy individuals and patients, by fusing and aggregating data from multiple sensors. A spatial feature extractor (SFE) is applied to generating representative features of images or signals. In order to capture temporal information from the two modality data, a new correlative memory neural network (CorrMNN) architecture is designed for extracting temporal features. Afterwards, we embed a multi-switch discriminator to associate the observations with individual state estimations. Compared with several state-of-the-art techniques, our proposed framework shows more accurate classification results.

研究动机与目标

• 为解决单模态步态识别在检测与神经退行性疾病（NDDs）相关的细微步态变化方面的局限性。
• 通过融合异构传感器数据（如加速度、力敏信号、三维骨骼和图像）在多个模态中提升分类准确率。
• 开发一个统一的深度学习框架，以捕捉空间和时序步态特征，从而区分健康个体、不同NDD患者以及不同PD严重程度等级。
• 在三个基准数据集（NDDs、PDgait和SDUgait）上验证模型的有效性，采用端到端学习方法。

提出的方法

• 使用空间特征提取器（SFE）从异构传感器数据中提取频域和时域特征，并将其编码为Fisher向量。
• 设计了一种新颖的相关记忆神经网络（CorrMNN），通过捕捉多模态信号在时间上的相关性，建模时序依赖关系。
• CorrMNN通过一种相关性感知机制整合模态特定特征，增强对细微步态变化的表征学习能力。
• 引入多切换判别器，将融合后的特征与特定疾病状态及严重程度关联，提升分类鲁棒性。
• 该框架采用端到端训练，于表征层面实现特征融合，支持空间、时序与分类组件的联合优化。
• 使用t-SNE可视化评估特征可分性，结果表明特征学习后不同步态类别之间的聚类更加清晰。

实验结果

研究问题

• RQ1 与单模态方法相比，来自不同传感器（如加速度计、力敏电阻、三维骨骼、图像）的多模态步态数据融合是否能提升神经退行性疾病分类性能？
• RQ2 相关记忆神经网络（CorrMNN）在建模步态信号中的时序依赖性和跨模态相关性方面是否有效，从而提升识别性能？
• RQ3 多切换判别器的集成在多大程度上增强了对不同疾病类型及PD严重阶段步态模式的区分能力？
• RQ4 所提出的混合模型是否在区分健康个体、帕金森病患者、亨廷顿病患者和肌萎缩侧索硬化症患者方面表现出更优性能？
• RQ5 各个组件（SFE、CorrMNN、多切换判别器）对整体分类准确率和特征可分性的贡献程度如何？

主要发现

• 所提出的混合模型在SDUgait数据集上实现了98.79%的分类准确率，优于当前最先进的方法，包括DCCA（96.17%）和BiLSTM。
• CorrMNN模块在未建模相关性的情况下仍优于DCMNN，证明了跨模态相关性在特征学习中的重要性。
• SFE模块生成的特征可分性优于LDA和Fisher向量，且分类准确率更高，表明其在空间表征学习方面具有优势。
• t-SNE可视化结果证实，所提模型提取的特征表现出强类别可分性，各类步态之间重叠极少。
• 在PDgait数据集上，模型对PD严重程度等级2、2.5和3的平均识别率分别为94.92%、89.08%和93.69%，在不同严重阶段均表现出一致性能。
• 多切换判别器显著提升了分类性能，完整模型优于所有单一组件，证实了多模态学习中联合优化的价值。