[论文解读] WSense: A Robust Feature Learning Module for Lightweight Human Activity Recognition

Ayokunle Olalekan Ige, Mohd Halim Mohd Noor|arXiv (Cornell University)|Mar 31, 2023

Context-Aware Activity Recognition Systems被引用 4

一句话总结

WSense 是一种轻量级、参数高效的特征学习模块，通过可穿戴传感器数据提升人体活动识别（HAR）性能。它采用两个一维卷积神经网络（1D CNN）和全局最大池化层，提取对窗口大小不敏感的鲁棒特征，在 WISDM 和 PAMAP2 数据集上以极小的模型尺寸，于多种滑动窗口大小下均优于基线模型。

ABSTRACT

In recent times, various modules such as squeeze-and-excitation, and others have been proposed to improve the quality of features learned from wearable sensor signals. However, these modules often cause the number of parameters to be large, which is not suitable for building lightweight human activity recognition models which can be easily deployed on end devices. In this research, we propose a feature learning module, termed WSense, which uses two 1D CNN and global max pooling layers to extract similar quality features from wearable sensor data while ignoring the difference in activity recognition models caused by the size of the sliding window. Experiments were carried out using CNN and ConvLSTM feature learning pipelines on a dataset obtained with a single accelerometer (WISDM) and another obtained using the fusion of accelerometers, gyroscopes, and magnetometers (PAMAP2) under various sliding window sizes. A total of nine hundred sixty (960) experiments were conducted to validate the WSense module against baselines and existing methods on the two datasets. The results showed that the WSense module aided pipelines in learning similar quality features and outperformed the baselines and existing models with a minimal and uniform model size across all sliding window segmentations. The code is available at https://github.com/AOige/WSense.

研究动机与目标

• 解决现有基于注意力机制的特征学习模块（如挤压-激励模块）参数量过高的问题，后者限制了其在资源受限边缘设备上的部署。
• 开发一种特征学习模块，使其在基于可穿戴传感器的 HAR 任务中，对不同滑动窗口大小均保持高性能。
• 确保无论输入窗口如何分割，特征质量保持一致，从而提升模型鲁棒性。
• 在保持或提升加速度计和多模态传感器数据识别准确率的同时，降低模型复杂度。
• 通过极小且统一的模型尺寸，实现 HAR 模型在终端设备上的高效部署。

提出的方法

• WSense 使用两个一维卷积层，从原始可穿戴传感器信号中提取分层的时间特征。
• 在每个一维卷积层后应用全局最大池化，以减少空间维度并保留显著特征。
• 该模块设计为对输入滑动窗口大小无感，确保在不同窗口分割下保持一致的特征表示。
• 该架构被集成到 CNN 和 ConvLSTM 流水线中，用于在多模态和单传感器数据集上的评估。
• 模块采用标准交叉熵损失进行端到端训练，并通过随机梯度下降进行优化。
• 设计强调参数效率，避免使用注意力机制或复杂的归一化层，以最小化模型尺寸。

实验结果

研究问题

• RQ1 轻量级特征学习模块是否能在基于可穿戴传感器的 HAR 任务中，于不同滑动窗口大小下保持高性能？
• RQ2 WSense 是否在显著减少参数量的同时，实现与现有基于注意力机制模块相当或更优的准确率？
• RQ3 WSense 在 CNN 和 ConvLSTM 架构中，于不同传感器数据集上的表现如何？
• RQ4 WSense 的特征表示是否对输入窗口长度和传感器模态的变化具有鲁棒性？
• RQ5 由于其极小且统一的模型尺寸，WSense 是否能实现 HAR 模型在边缘设备上的高效部署？

主要发现

• 在 WISDM 和 PAMAP2 数据集上进行的 960 次实验中，WSense 在所有情况下均实现了优于或相当的准确率。
• 该模块在所有测试的滑动窗口大小下均保持一致的性能，证明了其对输入分割变化的鲁棒性。
• 与基于注意力机制的模块（如挤压-激励）相比，WSense 显著减小了模型尺寸，从而实现了在边缘设备上的高效部署。
• 在 PAMAP2 数据集上，WSense 在参数更少的情况下，准确率优于现有方法。
• 将 WSense 集成到 CNN 和 ConvLSTM 流水线中，提升了特征学习质量，且未增加模型复杂度。
• 全局最大池化机制有效保留了判别性特征，同时降低了计算开销。