[论文解读] Transformers for 1D Signals in Parkinson's Disease Detection from Gait

Duc Minh Dimitri Nguyen, Mehdi Miah+2 more|arXiv (Cornell University)|Apr 1, 2022

Voice and Speech Disorders被引用 5

一句话总结

该论文提出了一种基于两阶段Transformer的模型，用于从一维步态信号中检测帕金森病，通过在单个足部传感器信号上应用时间自注意力机制，随后在传感器之间应用空间自注意力机制，以提取时空特征。该方法在PhysioNet数据集上实现了95.2%的准确率，优于当前最先进方法，且具有更高的稳定性和更低的方差。

ABSTRACT

This paper focuses on the detection of Parkinson's disease based on the analysis of a patient's gait. The growing popularity and success of Transformer networks in natural language processing and image recognition motivated us to develop a novel method for this problem based on an automatic features extraction via Transformers. The use of Transformers in 1D signal is not really widespread yet, but we show in this paper that they are effective in extracting relevant features from 1D signals. As Transformers require a lot of memory, we decoupled temporal and spatial information to make the model smaller. Our architecture used temporal Transformers, dimension reduction layers to reduce the dimension of the data, a spatial Transformer, two fully connected layers and an output layer for the final prediction. Our model outperforms the current state-of-the-art algorithm with 95.2\% accuracy in distinguishing a Parkinsonian patient from a healthy one on the Physionet dataset. A key learning from this work is that Transformers allow for greater stability in results. The source code and pre-trained models are released in https://github.com/DucMinhDimitriNguyen/Transformers-for-1D-signals-in-Parkinson-s-disease-detection-from-gait.git

研究动机与目标

• 开发一种深度学习模型，能够自动从一维步态信号中提取相关特征，用于帕金森病检测。
• 探究Transformer在1D信号处理中的有效性，特别是应用于帕金森病步态分析。
• 通过解耦时间与空间注意力机制，降低基于Transformer的一维信号模型的内存消耗。
• 相较于现有的手工设计特征与深度学习方法，提升分类的稳定性和性能。
• 证明双分支Transformer架构能够有效捕捉步态信号中的长程时间与空间依赖性。

提出的方法

• 该模型使用时间Transformer编码器处理单个18通道的一维步态信号（VGRF），以提取时间依赖性。
• 通过全连接层（FC-0）进行降维，以减少序列长度和内存使用量，再进行空间注意力计算。
• 在降维后的表示上应用空间Transformer编码器，以建模足部各传感器之间的关系。
• 最终特征通过两个全连接层和一个Softmax输出层进行二分类。
• 由于输入序列长度一致，采用固定的正弦位置编码。
• 通过分段步态周期的多数投票法，将整个步行过程分类为帕金森病或健康状态。

实验结果

研究问题

• RQ1 双分支Transformer架构能否有效从一维步态信号中提取用于帕金森病检测的时空特征？
• RQ2 在1D信号上，通过解耦时间与空间注意力机制，是否能提升Transformer模型的性能与内存效率？
• RQ3 与PhysioNet步态数据集上的最先进方法相比，所提出方法是否实现了更高的准确率和更低的方差？
• RQ4 各组件（时间Transformer、空间Transformer、降维）对最终模型性能的贡献如何？
• RQ5 尽管Transformer通常用于自然语言处理与视觉任务，但能否在1D生物医学信号（如步态数据）上有效应用？

主要发现

• 所提模型在PhysioNet数据集上实现了95.2%的准确率，优于当前最先进方法。
• 与近期方法相比，该模型方差更低（标准差为2.3%），表明其预测具有更高的稳定性。
• 消融实验表明，若移除时间Transformer或空间Transformer，准确率下降且标准差上升。
• 模型C（使用单一时空Transformer）仅实现92.0%的准确率，这是由于内存限制导致序列长度受限。
• 分别使用时间与空间Transformer可提升性能，从而在可控内存预算下实现更优的长程依赖建模。
• 灵敏度达98.1%，表明几乎所有帕金森病患者均被正确识别，而特异性（86.8%）较低，提示存在较多由非典型健康步态引起的假阳性结果。