[论文解读] Online Action Recognition based on Incremental Learning of Weighted Covariance Descriptors

Chang Tang, Pichao Wang+1 more|arXiv (Cornell University)|Nov 10, 2015

Human Pose and Action Recognition参考文献 46被引用 3

一句话总结

本文提出了一种基于骨架数据的增量加权协方差描述子的在线动作识别方法，其中近期且信息量大的帧被赋予更高的重要性。通过随时间高效更新协方差描述子，该方法在MSC-12 Kinect手势数据集和新收集的在线数据集上实现了高精度的实时识别，优于传统的滑动窗口和帧级方法。

ABSTRACT

Different from traditional action recognition based on video segments, online action recognition aims to recognize actions from unsegmented streams of data in a continuous manner. One way for online recognition is based on the evidence accumulation over time to make predictions from stream videos. This paper presents a fast yet effective method to recognize actions from stream of noisy skeleton data, and a novel weighted covariance descriptor is adopted to accumulate evidence. In particular, a fast incremental updating method for the weighted covariance descriptor is developed for accumulation of temporal information and online prediction. The weighted covariance descriptor takes the following principles into consideration: past frames have less contribution for recognition and recent and informative frames such as key frames contribute more to the recognition. The online recognition is achieved using a simple nearest neighbor search against a set of offline trained action models. Experimental results on MSC-12 Kinect Gesture dataset and our newly constructed online action recognition dataset have demonstrated the efficacy of the proposed method.

研究动机与目标

• 解决在未分割视频流中动作边界未知时的实时动作识别挑战。
• 通过为近期和判别性帧分配更高权重，改进在线识别中的时间建模。
• 开发一种高效的协方差描述子增量学习机制，支持实时证据累积。
• 通过针对预训练动作模型的简单最近邻搜索，实现高精度的在线识别。

提出的方法

• 该方法使用加权协方差描述子，根据帧与中性姿态的偏差程度，为近期和信息量大的帧赋予更高重要性。
• 推导出一种增量更新规则，可在无需完全重新计算的情况下，随时间高效维护加权协方差描述子。
• 帧权重通过关节相对于人工选定的中性姿态的平均相对距离计算，以抑制中性姿态的影响。
• 协方差描述子使用递归公式更新，结合新帧的同时，通过衰减因子η降低旧帧的贡献。
• 该方法假设动作模型已离线训练，并通过针对这些模型的在线最近邻分类实现推理。
• 该方法通过基于时间顺序和判别能力动态调整帧重要性，避免了固定窗口大小的问题。

实验结果

研究问题

• RQ1 如何在不依赖固定滑动窗口的情况下，有效建模在线动作识别中的时间一致性？
• RQ2 在数据流中，帧的最优加权方式是什么，以确保近期和判别性帧对识别的贡献更大？
• RQ3 协方差描述子的增量学习能否实现从骨架序列中快速且准确的在线动作识别？
• RQ4 与基于帧级和滑动窗口的方法相比，所提方法在准确率和鲁棒性方面表现如何？
• RQ5 该方法在存在噪声和未分割数据的真实在线动作识别场景中是否具有良好的泛化能力？

主要发现

• 所提方法在MSC-12 Kinect手势数据集上的在线动作识别任务中达到了最先进性能。
• 该方法对噪声骨架数据具有鲁棒性，在动作边界未预先定义的情况下仍能保持高准确率。
• 基于与中性姿态偏差的帧加权方法显著提升了识别性能，有效抑制了中性姿态的影响。
• 增量更新机制实现了低计算开销的实时推理，适合在线部署。
• 该方法优于基于帧级和滑动窗口的方法，尤其在动作重叠或持续时间较长的场景中表现更优。
• 消融实验表明，帧加权和增量学习对性能至关重要，其缺失会导致准确率显著下降。