[论文解读] Self-supervised Learning for Human Activity Recognition Using 700,000 Person-days of Wearable Data

Hang Yuan, Shing Chan+5 more|arXiv (Cornell University)|Jun 6, 2022

Context-Aware Activity Recognition Systems参考文献 52被引用 12

一句话总结

本论文提出了一种自监督学习框架，利用来自英国生物银行（UK Biobank）的70万个人天的未标注可穿戴加速度计数据，对人类活动识别（HAR）模型进行预训练。通过联合优化三种时间性掩蔽任务——时间方向、序列重排和时间扭曲，模型学习到具有鲁棒性的表征，能够在多种数据集、设备和人群中实现良好泛化，相较于强基线模型，F1分数中位数提升18.4%（最高达100%），尤其在低数据量场景下表现显著。

ABSTRACT

Advances in deep learning for human activity recognition have been relatively limited due to the lack of large labelled datasets. In this study, we leverage self-supervised learning techniques on the UK-Biobank activity tracker dataset--the largest of its kind to date--containing more than 700,000 person-days of unlabelled wearable sensor data. Our resulting activity recognition model consistently outperformed strong baselines across seven benchmark datasets, with an F1 relative improvement of 2.5%-100% (median 18.4%), the largest improvements occurring in the smaller datasets. In contrast to previous studies, our results generalise across external datasets, devices, and environments. Our open-source model will help researchers and developers to build customisable and generalisable activity classifiers with high performance.

研究动机与目标

• 为解决深度学习在HAR中因标注数据量小且标注成本高而导致的性能受限问题。
• 探究在大规模真实世界未标注可穿戴数据上应用自监督学习（SSL）是否能提升HAR在不同领域间的泛化能力。
• 在多样化的现实世界数据集（UK Biobank）上评估SSL，而非在小型实验室数据集上，以实现对模型迁移能力更真实的评估。
• 开发一个公开可用的高性能HAR模型，以减少对昂贵数据标注的依赖。
• 探索多任务自监督学习是否能学习到关于人体运动动力学、强度和传感器同步性的有意义表征。

提出的方法

• 使用三种自监督掩蔽任务对深度神经网络进行预训练：时间方向（预测时间顺序）、序列重排（重新排列传感器轴）和时间扭曲（扭曲时间序列）。
• 使用来自10万名英国生物银行参与者的60亿组三轴加速度计样本的大规模真实世界数据集，采样频率为100 Hz，数据来自腕戴设备。
• 采用共享特征提取器搭配每个掩蔽任务特定的分类头，通过对比学习目标端到端进行训练。
• 在预训练过程中应用基于运动感知的加权采样策略，优先选择动态而非静止时段，以提升表征质量。
• 在七个下游HAR基准数据集上对预训练模型进行微调，仅使用少量标注数据。
• 使用层归因传播（LRP）方法进行可解释性分析，以研究模型在掩蔽任务预测过程中关注的信号片段。

实验结果

研究问题

• RQ1 在大规模真实世界可穿戴数据上进行自监督学习，是否能提升下游HAR在多样化数据集和环境中的性能？
• RQ2 采用时间性掩蔽任务（时间方向、序列重排、时间扭曲）的多任务SSL，如何增强人体运动表征学习能力？
• RQ3 在英国生物银行未标注数据上进行预训练，是否比在小型实验室数据集上进行监督或对比学习预训练具有更好的泛化性能？
• RQ4 所学习到的表征在多大程度上捕捉了有意义的运动动力学、强度和轴间同步性？
• RQ5 该预训练模型是否能在下游任务中仅使用有限标注数据的情况下实现高性能？

主要发现

• 自监督模型在七个基准数据集上实现了18.4%的F1分数中位数提升，增益范围在2.5%至100%之间。
• 性能提升最大的部分出现在数据量较小的数据集中，表明具有出色的样本效率并显著降低了对标注数据的依赖。
• 该模型在不同设备、人群、活动类别和记录环境中均表现出有效的泛化能力，而此前的SSL-HAR研究在领域分布变化下表现不佳。
• 通过LRP进行的可解释性分析表明，模型能正确识别出自然运动模式（如网球挥拍、有节奏的晃动）作为掩蔽任务的关键相关信号。
• 在增强数据中，模型对不自然的运动动态表现出较低的关注度，表明其对分布偏移具有鲁棒性。
• 在微调之前，预训练模型已展现出强大的活动区分能力，表明其成功学习到了运动动力学的有效表征。