[论文解读] Seq2Seq RNN based Gait Anomaly Detection from Smartphone Acquired Multimodal Motion Data

Riccardo Bonetto, Mattia Soldan+3 more|arXiv (Cornell University)|Nov 19, 2019

Gait Recognition and Analysis被引用 5

一句话总结

本文提出一种基于智能手机的个性化步态异常检测系统，通过采集多模态惯性（加速度计、陀螺仪）和视频数据，采用两阶段深度学习架构：基于RNN的Seq2Seq模型用于从步态序列中无监督提取特征，随后由CNN分类器进行分类，在测试数据上实现了100%的异常检测准确率，优于SVM基线模型。

ABSTRACT

Smartphones and wearable devices are fast growing technologies that, in conjunction with advances in wireless sensor hardware, are enabling ubiquitous sensing applications. Wearables are suitable for indoor and outdoor scenarios, can be placed on many parts of the human body and can integrate a large number of sensors capable of gathering physiological and behavioral biometric information. Here, we are concerned with gait analysis systems that extract meaningful information from a user's movements to identify anomalies and changes in their walking style. The solution that is put forward is subject-specific, as the designed feature extraction and classification tools are trained on the subject under observation. A smartphone mounted on an ad-hoc made chest support is utilized to gather inertial data and video signals from its built-in sensors and rear-facing camera. The collected video and inertial data are preprocessed, combined and then classified by means of a Recurrent Neural Network (RNN) based Sequence-to-Sequence (Seq2Seq) model, which is used as a feature extractor, and a following Convolutional Neural Network (CNN) classifier. This architecture provides excellent results, being able to correctly assess anomalies in 100% of the cases, for the considered tests, surpassing the performance of support vector machine classifiers.

研究动机与目标

• 开发一种轻量级、非侵入式的步态异常检测系统，利用现成智能手机实现。
• 解决利用低成本多模态传感器数据检测细微行走模式偏差（提示运动功能障碍）的挑战。
• 设计一种个性化方法，学习个体步态模式，以区分正常与异常步态。
• 通过利用深度学习提升泛化能力和在线适应性，超越传统分类器（如SVM）的性能。
• 实现在自由生活状态下持续健康监测的实时、设备端部署步态分析。

提出的方法

• 将智能手机固定于定制胸带支架上，在行走过程中同步采集惯性（9D：3D加速度计、3D陀螺仪、3D磁力计）和视频数据。
• 预处理包括惯性信号与视频信号的时间对齐与融合，形成统一的多模态序列。
• 采用无监督方式训练基于序列到序列（Seq2Seq）的循环神经网络（RNN），以学习步态周期的潜在时间动态特性。
• RNN作为特征提取器，从输入序列中生成每个步态周期的潜在表征。
• 在RNN学习到的特征基础上训练卷积神经网络（CNN）分类器，以区分正常与异常步态模式。
• 端到端模型仅对最终分类器的标注数据进行训练，而RNN则通过在正常步态序列上使用重建损失进行预训练。

实验结果

研究问题

• RQ1 基于Seq2Seq RNN的架构能否有效从智能手机采集的多模态步态数据中提取用于异常检测的判别性特征？
• RQ2 所提出的两阶段深度学习模型在检测步态异常方面的性能与传统分类器（如SVM）相比如何？
• RQ3 与完全监督或启发式方法相比，个性化、无监督特征学习方法在多大程度上能提升检测准确率？
• RQ4 所提出的系统是否适合在消费级智能手机上实现实时、设备端部署？
• RQ5 该模型能否在不预先知晓异常类型的情况下，泛化检测多种类型的步态异常？

主要发现

• 所提出的两阶段模型（结合RNN-Seq2Seq特征提取器与CNN分类器）在测试集上对步态异常检测实现了100%的分类准确率。
• 该模型优于基线SVM分类器（准确率为98.077%），后者表现出保守偏差，将5.8%的正常步态周期误判为异常。
• 基于RNN的特征提取方法有效捕捉了步态序列中的复杂时间相关性，从而实现了对正常与异常模式的优越区分能力。
• 该系统可部署于现成智能手机（如Asus ZenFone 2）上，实现无需用户配置的实时、设备端运行。
• 在正常步态序列上对RNN进行无监督预训练，降低了对大量标注异常数据的依赖，提升了在真实场景部署中的实用性。
• 该架构对传感器方向变化和噪声表现出鲁棒性，这是可穿戴设备步态分析中的常见挑战。