[论文解读] Tutorial on Deep Learning for Human Activity Recognition

Marius Bock, Alexander Hölzemann+2 more|arXiv (Cornell University)|Oct 13, 2021

Context-Aware Activity Recognition Systems参考文献 39被引用 5

一句话总结

本教程介绍了深度学习活动识别链（DL-ARC），这是一种利用可穿戴惯性传感器进行人体活动识别的现代化流水线，用端到端深度学习取代传统特征工程。该教程指导研究人员通过PyTorch和RWHAR等公开数据集，完成数据预处理、神经网络设计与验证，展示了数据增强和标签平滑等技术带来的最先进性能表现。

ABSTRACT

Activity recognition systems that are capable of estimating human activities from wearable inertial sensors have come a long way in the past decades. Not only have state-of-the-art methods moved away from feature engineering and have fully adopted end-to-end deep learning approaches, best practices for setting up experiments, preparing datasets, and validating activity recognition approaches have similarly evolved. This tutorial was first held at the 2021 ACM International Symposium on Wearable Computers (ISWC'21) and International Joint Conference on Pervasive and Ubiquitous Computing (UbiComp'21). The tutorial, after a short introduction in the research field of activity recognition, provides a hands-on and interactive walk-through of the most important steps in the data pipeline for the deep learning of human activities. All presentation slides shown during the tutorial, which also contain links to all code exercises, as well as the link of the GitHub page of the tutorial can be found on: https://mariusbock.github.io/dl-for-har

研究动机与目标

• 为现有HAR教程中缺乏更新经典活动识别链（ARC）的问题提供解决方案，引入现代深度学习技术。
• 为研究人员和实践者提供一个动手操作、交互式的指南，用于从惯性传感器数据中构建稳健的深度学习模型进行人体活动识别。
• 展示数据预处理、网络架构设计与模型评估的最佳实践，包括验证策略与超参数调优。
• 通过引入MaxUp和标签平滑等先进深度学习技术，激发未来研究，这些技术在HAR领域尚处于探索阶段。
• 通过GitHub托管的Jupyter笔记本与Google Colab集成，提供完整、可复现的工作流程，实现便捷的GPU加速实验。

提出的方法

• 介绍DL-ARC流水线，这是原始ARC的重新构想版本，省略了人工特征工程，直接处理原始分段传感器数据。
• 采用滑动窗口分割方法，将连续的惯性传感器流划分为固定长度的时间窗口，作为模型输入。
• 应用插值、重采样和特征缩放等预处理技术，以应对采样率和传感器灵敏度不一致的问题。
• 采用改进的DeepConvLSTM架构作为核心深度学习模型，结合卷积层与LSTM层，实现时空特征提取。
• 在PyTorch中实现完整的训练循环，包括损失计算、反向传播与优化，支持高级损失函数与数据增强。
• 应用多种验证策略——训练-验证集划分、k折交叉验证与跨参与者验证，以防止过拟合并确保泛化能力。

实验结果

研究问题

• RQ1 传统的活动识别链（ARC）如何被改进以支持端到端深度学习在人体活动识别中的应用？
• RQ2 在HAR中，为深度学习模型准备原始惯性传感器数据所需的关键预处理步骤有哪些？
• RQ3 哪些深度学习架构与训练策略在公开HAR基准数据集上能取得最佳性能？
• RQ4 MaxUp与标签平滑等高级技术如何提升HAR中模型的泛化能力与鲁棒性？
• RQ5 在HAR中，模型验证与超参数调优的最佳实践是什么，以避免过拟合并确保可靠性能？

主要发现

• DL-ARC流水线成功用端到端深度学习替代了人工特征工程，简化了HAR工作流程并提升了模型性能。
• 重采样与缩放等预处理步骤对处理传感器数据的变异性至关重要，显著提升了模型收敛速度与准确率。
• 改进的DeepConvLSTM架构在RWHAR数据集上表现优异，证明了混合CNN-LSTM模型在时间序列建模中的有效性。
• 跨参与者交叉验证对评估真实世界泛化能力至关重要，揭示了在某一参与者上训练的模型可能无法泛化到其他参与者。
• 标签平滑与MaxUp等技术可提升模型鲁棒性与泛化能力，表明这些方法在HAR中可有效应用以获得更优性能。
• 本教程的代码库托管于GitHub并集成Colab，使研究人员能轻松复现结果，并以极低的设置开销扩展实验。