[论文解读] Understanding and Improving Deep Neural Network for Activity Recognition

Xue Li, Xiandong Si+5 more|arXiv (Cornell University)|May 18, 2018

Context-Aware Activity Recognition Systems参考文献 21被引用 3

一句话总结

本文提出了一种新颖的可视化驱动方法，用于理解和改进基于传感器的人体活动识别的深度神经网络。通过分析卷积神经网络（CNN）在智能手机传感器数据上提取的特征图，作者识别出与特定活动相关的判别性特征，并将这些特征融合进深度神经网络（DNN）模型，实现了96.1%的分类准确率——这是该领域首次对基于传感器的抽象特征进行可视化。

ABSTRACT

Activity recognition has become a popular research branch in the field of pervasive computing in recent years. A large number of experiments can be obtained that activity sensor-based data's characteristic in activity recognition is variety, volume, and velocity. Deep learning technology, together with its various models, is one of the most effective ways of working on activity data. Nevertheless, there is no clear understanding of why it performs so well or how to make it more effective. In order to solve this problem, first, we applied convolution neural network on Human Activity Recognition Using Smart phones Data Set. Second, we realized the visualization of the sensor-based activity's data features extracted from the neural network. Then we had in-depth analysis of the visualization of features, explored the relationship between activity and features, and analyzed how Neural Networks identify activity based on these features. After that, we extracted the significant features related to the activities and sent the features to the DNN-based fusion model, which improved the classification rate to 96.1%. This is the first work to our knowledge that visualizes abstract sensor-based activity data features. Based on the results, the method proposed in the paper promises to realize the accurate classification of sensor- based activity recognition.

研究动机与目标

• 解决基于传感器数据进行活动识别时深度神经网络可解释性不足的问题。
• 可视化并分析深度网络从原始传感器信号中学习到的抽象特征。
• 从学习到的表征中识别出具有显著性、与活动相关的特征。
• 通过将这些显著特征融合进基于DNN的模型，提升分类性能。
• 为基于传感器的人体活动识别中深度学习的可解释性与优化奠定基础。

提出的方法

• 将卷积神经网络（CNN）应用于智能手机人体活动识别数据集，实现端到端的特征学习。
• 开发了一种可视化技术，用于解释CNN层从传感器数据中提取的抽象特征。
• 对可视化特征进行深入分析，将其与特定人体活动相关联。
• 基于其与特定活动的模式关联性和相关性，提取最具判别性的特征。
• 将选定的特征输入到深度神经网络（DNN）融合模型中，以提升分类性能。
• 利用提取的特征优化融合模型，以最大化识别准确率。

实验结果

研究问题

• RQ1 深度神经网络如何从原始传感器数据中学习并表征特征？
• RQ2 学习到的特征与特定人体活动之间存在何种关系？
• RQ3 哪些特征对不同活动类别最具判别性？
• RQ4 通过可视化和选择关键特征，能否提升深度学习模型在活动识别中的性能？
• RQ5 特征融合在多大程度上能够超越标准深度学习方法，提升分类准确率？

主要发现

• 所学习特征的可视化揭示了与特定人体活动相对应的清晰空间与时间模式。
• CNN中的特定特征图在特定活动中表现出一致激活，表明特征与活动之间存在强对应关系。
• 最具判别性的特征被发现能够捕捉每项活动独有的运动动态与时间转换特征。
• 将选定的关键特征融合进DNN模型后，分类准确率提升至96.1%。
• 该性能提升证明了基于可解释性的特征选择在基于传感器识别的深度学习中的有效性。
• 本研究首次实现了对基于传感器的抽象特征在深度学习用于活动识别中的可视化。