[论文解读] TASKED: Transformer-based Adversarial learning for human activity recognition using wearable sensors via Self-KnowledgE Distillation

Sungho Suh, Vítor Fortes Rey+1 more|arXiv (Cornell University)|Sep 14, 2022

Context-Aware Activity Recognition Systems被引用 4

一句话总结

TASKED 提出了一种基于 Transformer 的对抗性学习框架，结合自知识蒸馏，用于可穿戴传感器的人体活动识别，通过使用 MMD 正则化在不同领域之间对齐特征分布，提升跨被试泛化能力，并增强训练稳定性。该方法在四个公开的 HAR 数据集上实现了最先进性能，F1-macro 指标相比先前方法最高提升 3.89 个百分点。

ABSTRACT

Wearable sensor-based human activity recognition (HAR) has emerged as a principal research area and is utilized in a variety of applications. Recently, deep learning-based methods have achieved significant improvement in the HAR field with the development of human-computer interaction applications. However, they are limited to operating in a local neighborhood in the process of a standard convolution neural network, and correlations between different sensors on body positions are ignored. In addition, they still face significant challenging problems with performance degradation due to large gaps in the distribution of training and test data, and behavioral differences between subjects. In this work, we propose a novel Transformer-based Adversarial learning framework for human activity recognition using wearable sensors via Self-KnowledgE Distillation (TASKED), that accounts for individual sensor orientations and spatial and temporal features. The proposed method is capable of learning cross-domain embedding feature representations from multiple subjects datasets using adversarial learning and the maximum mean discrepancy (MMD) regularization to align the data distribution over multiple domains. In the proposed method, we adopt the teacher-free self-knowledge distillation to improve the stability of the training procedure and the performance of human activity recognition. Experimental results show that TASKED not only outperforms state-of-the-art methods on the four real-world public HAR datasets (alone or combined) but also improves the subject generalization effectively.

研究动机与目标

• 解决由于不同被试之间训练与测试数据分布偏移导致的人体活动识别（HAR）性能下降问题。
• 克服 CNN 和 RNN 在捕捉可穿戴传感器数据中长程时空依赖关系方面的局限性。
• 通过学习领域不变表示，在推理阶段无需使用标注的被试数据，提升模型对未见被试的泛化能力。
• 通过无教师自知识蒸馏机制稳定训练过程并提升性能。
• 构建一个统一框架，联合优化特征提取、领域对齐以及对个体行为差异的鲁棒性。

提出的方法

• 使用 Transformer 编码器建模可穿戴设备多传感器时序数据中的空间与时间依赖关系。
• 引入对抗性训练方案：训练一个被试判别器以区分不同被试，同时训练特征提取器以欺骗该判别器。
• 对所有被试对应用最大均值差异（MMD）正则化，以对齐不同领域之间的特征分布，提升领域泛化能力。
• 实现无教师自知识蒸馏技术，以稳定训练并减少由 MMD 和对抗性损失引入的偏差。
• 通过联合损失函数端到端优化整体框架：包括分类用的交叉熵损失、保证领域不变性的对抗损失，以及保证特征一致性的蒸馏损失。
• 使用带相对位置编码的多头注意力机制，以保留身体上传感器之间的空间关系。

实验结果

研究问题

• RQ1 基于 Transformer 的架构能否有效从可穿戴传感器数据中学习空间与时间表征，用于人体活动识别？
• RQ2 结合 MMD 正则化的对抗性学习在 HAR 中在多大程度上提升了跨被试泛化能力？
• RQ3 自知识蒸馏在 HAR 的领域泛化设置中如何提升训练稳定性和性能？
• RQ4 所提出的框架在真实世界 HAR 数据集上的准确率、F1-macro 和 F1-weighted 指标上是否优于最先进方法？
• RQ5 当推理阶段缺乏被试特定模式时，模型在未见被试上的泛化能力是否依然有效？

主要发现

• 在四个公开的 HAR 数据集上，TASKED 相较于表现最佳的最先进方法，准确率提升 3.08 个百分点，F1-weighted 提升 3.89 个百分点，F1-macro 提升 3.39 个百分点。
• 在使用联合数据集时，与 Transformer 基线相比，TASKED 在准确率上提升 1.71 个百分点，F1-macro 提升 2.96 个百分点。
• 在贝叶斯相关 t 检验中，TASKED 在 F1-macro 上优于 METIER 的概率超过 70%，而两者等价的概率仅为约 30%。
• 如箱线图所示，该框架在所有指标上表现出最小的方差，表明其结果具有一致性和鲁棒性。
• 所提方法能有效泛化到未见被试，即使训练与测试数据来自不同的被试分布，仍取得显著性能提升。
• 自知识蒸馏有助于训练稳定性，防止模型因 MMD 和对抗性正则化而过拟合，从而提升泛化能力。