[论文解读] Semi-Supervised Convolutional Neural Networks for Human Activity Recognition

Ming Zeng, Tong Yu+4 more|arXiv (Cornell University)|Jan 22, 2018

Context-Aware Activity Recognition Systems被引用 8

一句话总结

本文提出两种半监督卷积神经网络（CNN）架构——CNN-编码器-解码器和CNN-Ladder，联合从原始传感器数据中学习判别性特征，并利用未标记数据提升人体活动识别（HAR）性能。通过将未标记数据融入低层特征学习，这些模型在三个真实世界HAR数据集上的平均F1得分（Fm）比监督方法和传统半监督方法最高提升18%。

ABSTRACT

Labeled data used for training activity recognition classifiers are usually limited in terms of size and diversity. Thus, the learned model may not generalize well when used in real-world use cases. Semi-supervised learning augments labeled examples with unlabeled examples, often resulting in improved performance. However, the semi-supervised methods studied in the activity recognition literatures assume that feature engineering is already done. In this paper, we lift this assumption and present two semi-supervised methods based on convolutional neural networks (CNNs) to learn discriminative hidden features. Our semi-supervised CNNs learn from both labeled and unlabeled data while also performing feature learning on raw sensor data. In experiments on three real world datasets, we show that our CNNs outperform supervised methods and traditional semi-supervised learning methods by up to 18% in mean F1-score (Fm).

研究动机与目标

• 解决由于标注数据稀缺且多样性不足，导致监督HAR模型泛化能力有限的问题。
• 克服传统半监督HAR方法依赖手工设计特征、无法利用未标记数据优化低层表征的局限性。
• 开发能够同时利用标注和未标注传感器数据进行特征学习与模型训练的深度学习架构。
• 证明通过未标记数据改进低层特征可显著提升HAR中高层表征质量和识别性能。

提出的方法

• 提出一种CNN-编码器-解码器架构，通过自编码器分支重建输入传感器序列，实现在标注和未标注数据上的联合训练。
• 引入一种带有编码器和解码器分支之间跳跃连接的CNN-Ladder网络，其中每一层的潜在表征被正则化以匹配其对应的解码器输出。
• 使用带有可学习系数λₗ的加权重建损失，以控制未标记数据在不同网络深度对特征学习的影响。
• 通过同时使用标注数据（用于分类）和未标注数据（用于重建和特征正则化）进行端到端训练。
• 应用主成分分析（PCA）对学习到的特征进行可视化，以比较有和没有未标记数据的模型之间的表征差异。
• 系统性地在各层调整λₗ值，以评估利用未标记数据优化低层与高层特征对性能的影响。

实验结果

研究问题

• RQ1 能否通过联合使用原始传感器数据进行特征学习与分类，使半监督CNN在HAR任务中超越监督方法和传统半监督方法？
• RQ2 将未标记数据融入低层特征学习，如何影响HAR中表征的判别能力？
• RQ3 在使用未标记数据时，不同网络层（尤其是低层特征）对性能提升的相对贡献是什么？
• RQ4 当标注数据有限时，CNN-Ladder是否能学习到比标准CNN更鲁棒和泛化能力更强的高层特征？
• RQ5 为何CNN-Ladder在HAR任务中相比标准CNN和传统半监督方法能获得更高的F₁得分？

主要发现

• 所提出的半监督CNN在三个真实世界HAR数据集上的平均F1得分（Fₘ）比基线监督方法和传统半监督方法最高提升18%。
• 通过未标记数据改进低层特征可显著提升泛化能力，表现为未标记数据中不同用户的样本在特征空间中更紧密地聚集在标注样本周围。
• CNN-Ladder通过学习更具判别性的高层特征，优于标准CNN，尤其在标注数据稀缺且用户行为多样的情况下。
• 可视化结果表明，未标记数据有助于对齐不同用户间相同活动（如慢跑）的特征，即使行为存在差异，也能降低用户间差异性。
• 当利用未标记数据优化低层特征（如早期层）时，性能提升最大，而传统半监督方法因在训练前固定特征，无法实现此目标。
• 系统的消融实验表明，将早期层（低层特征）的λₗ设为1时，Fₘ表现最佳，证实了低层特征学习在半监督HAR中的关键作用。