[论文解读] Transfer Learning for Human Activity Recognition using Representational Analysis of Neural Networks

Sizhe An, Ganapati Bhat+2 more|arXiv (Cornell University)|Dec 5, 2020

Context-Aware Activity Recognition Systems参考文献 45被引用 10

一句话总结

本文提出了一种用于人体活动识别（HAR）的迁移学习框架，通过卷积神经网络（CNN）的表征分析，识别跨用户可迁移的特征。通过迁移早期、通用的CNN层并仅微调深层、用户特定的层，该方法在训练从零开始的情况下，实现了高达43%的准确率提升，训练时间减少66%，并在移动硬件上实现了68%的能耗降低。

ABSTRACT

Human activity recognition (HAR) research has increased in recent years due to its applications in mobile health monitoring, activity recognition, and patient rehabilitation. The typical approach is training a HAR classifier offline with known users and then using the same classifier for new users. However, the accuracy for new users can be low with this approach if their activity patterns are different than those in the training data. At the same time, training from scratch for new users is not feasible for mobile applications due to the high computational cost and training time. To address this issue, we propose a HAR transfer learning framework with two components. First, a representational analysis reveals common features that can transfer across users and user-specific features that need to be customized. Using this insight, we transfer the reusable portion of the offline classifier to new users and fine-tune only the rest. Our experiments with five datasets show up to 43% accuracy improvement and 66% training time reduction when compared to the baseline without using transfer learning. Furthermore, measurements on the Nvidia Jetson Xavier-NX hardware platform reveal that the power and energy consumption decrease by 43% and 68%, respectively, while achieving the same or higher accuracy as training from scratch.

研究动机与目标

• 解决由于个体间活动模式差异导致新用户HAR准确率低的问题。
• 降低在移动和可穿戴设备上从零开始训练HAR分类器所产生的高计算与能耗成本。
• 识别预训练CNN中哪些部分可跨用户迁移，哪些部分需通过微调实现个性化。
• 在多个公开的HAR数据集上，通过真实硬件部署验证所提出的迁移学习方法。
• 通过系统的表征分析，显著提升准确率、训练时间与能效。

提出的方法

• 通过典型相关分析（CCA）测量在不同用户聚类上训练的CNN层之间特征表征的相似性。
• 识别早期CNN层为可在用户间迁移的通用特征，而深层则捕捉用户特定的模式。
• 将预训练分类器的早期共享层权重迁移至新用户，并仅对深层判别层进行微调。
• 在五个公开的HAR数据集（w-HAR、UCI-HAR、WISDM、UCI-HAPT、UniMiB）上训练模型，通过随机聚类与k-means聚类形成用户簇以实现稳健评估。
• 在Nvidia Jetson Xavier NX开发板上实现该框架，以测量真实环境下的功耗与能耗。
• 采用4用户簇设置（4 UCs），并配置1或2层微调，以评估性能权衡。

Figure 1. Comparison of stretch sensor (O’Brien et al . , 2014 ) data of four users for a single step during walk. There is a significant change in both the range of values and data pattern. The grey dashed lines show different instances of the same activity, while the red line shows a representativ

实验结果

研究问题

• RQ1 预训练CNN的哪些层包含可在HAR不同用户间泛化的特征？
• RQ2 在多大程度上，通过迁移早期CNN层可减少新用户的训练时间与能耗？
• RQ3 仅微调深层网络相比从零开始训练，对分类准确率有何影响？
• RQ4 所提出的迁移学习方法是否能在降低移动硬件计算与能耗成本的同时，保持或提升准确率？
• RQ5 该迁移学习框架在具有不同用户活动模式的多样化HAR数据集上的性能表现如何？

主要发现

• 所提出的迁移学习方法相比从零开始训练，准确率最高提升43%，在各数据集上的平均提升达14%。
• 当仅微调深层网络而非从零开始重新训练时，训练时间最多减少66%。
• 平均能耗降低68%，各数据集上的节省范围为47%至68%，同时保持或超过完整重训练的准确率。
• 各数据集上的功耗降低21%至43%，其中UCI-HAR与WISDM数据集的节能效果最为显著。
• 通过CCA进行的表征分析证实，早期CNN层学习到的是跨用户通用的特征，而深层则捕捉用户特定的活动模式。
• 在Nvidia Jetson Xavier NX上的硬件测量结果表明，该迁移学习框架可高效部署于低功耗移动平台。

Figure 2. Overview of the transfer learning approach for HAR