[论文解读] Self-supervised Wearable-based Activity Recognition by Learning to Forecast Motion

Setareh Rahimi Taghanaki, Ali Etemad|arXiv (Cornell University)|Oct 21, 2020

Context-Aware Activity Recognition Systems参考文献 31被引用 6

一句话总结

本文提出了一种基于可穿戴设备的人体活动识别的自监督学习方法，通过预训练卷积神经网络来预测未来的加速度计信号，随后使用标注数据进行微调。该方法在UCI HAR和MotionSense数据集上实现了最先进性能，优于现有的监督和自监督方法。

ABSTRACT

We propose the use of self-supervised learning for human activity recognition. Our proposed solution consists of two steps. First, the representations of unlabeled input signals are learned by training a deep convolutional neural network to predict the values of accelerometer signals in future time-steps. Then, we freeze the convolution blocks of this network and transfer the weights to our next network aimed at human activity recognition. For this task, we add a number of fully connected layers to the end of the frozen network and train the added layers with labeled accelerometer signals to learn to classify human activities. We evaluate the performance of our method on two publicly available human activity datasets: UCI HAR and MotionSense. The results show that our self-supervised approach outperforms the existing supervised and self-supervised methods to set new state-of-the-art values.

研究动机与目标

• 通过自监督预训练改进基于可穿戴加速度计数据的人体活动识别。
• 通过利用未标注序列进行表征学习，减少对大量标注训练数据的依赖。
• 探究基于未来运动信号预测是否能生成适用于活动识别的有效且可迁移的特征。
• 在基准可穿戴人体活动识别数据集上建立新的最先进性能。

提出的方法

• 使用自监督方式训练深度卷积神经网络，从当前和历史传感器输入中预测未来的加速度计值。
• 网络将时间预测作为代理任务，从原始未标注加速度计序列中学习有意义的表征。
• 预训练完成后，冻结卷积特征提取器，并将其迁移到新的分类头。
• 通过仅微调顶部添加的全连接层，使用标注数据训练最终的分类网络。
• 该方法利用来自预训练模型的特征迁移，提升下游活动识别任务的性能。
• 该方法在两个公开数据集（UCI HAR和MotionSense）上进行评估，采用标准评估协议。

实验结果

研究问题

• RQ1 基于未来运动预测的自监督学习是否能改善可穿戴设备活动识别的特征表征？
• RQ2 基于运动预测的预训练方法与现有监督和自监督方法相比性能如何？
• RQ3 从未标注数据中学习到的表征在多大程度上能泛化到下游活动分类任务？
• RQ4 所提出的方法是否在标准基准数据集上实现了最先进结果？

主要发现

• 所提出的自监督方法在UCI HAR数据集上实现了最先进性能，优于现有的监督和自监督方法。
• 在MotionSense数据集上，该方法实现了新的最先进准确率，表明其在不同可穿戴传感器配置下具有强大的泛化能力。
• 将运动预测作为代理任务，能有效捕捉对活动识别有用的时序动态特征。
• 从预训练模型迁移特征可显著提升在有限标注数据下的分类性能。
• 结果证实，对未标注序列进行自监督预训练可生成具有竞争力的表征，而无需人工标注。