[论文解读] Sliding Dictionary Based Sparse Representation For Action Recognition

Yashas Annadani, D. L. Rakshith+1 more|arXiv (Cornell University)|Nov 1, 2016

Human Pose and Action Recognition参考文献 21被引用 6

一句话总结

该论文提出了一种基于滑动字典的稀疏表示方法，用于使用3D骨骼关节点进行动作识别，结合时间感知字典的重建误差与帧级关节点偏差特征，实现分数级融合。该方法在UTK数据集上达到88.89%的准确率，在UTD数据集上达到79.07%的准确率，展示了在部分序列情况下的离线与在线设置中均具有优异的性能。

ABSTRACT

The task of action recognition has been in the forefront of research, given its applications in gaming, surveillance and health care. In this work, we propose a simple, yet very effective approach which works seamlessly for both offline and online action recognition using the skeletal joints. We construct a sliding dictionary which has the training data along with their time stamps. This is used to compute the sparse coefficients of the input action sequence which is divided into overlapping windows and each window gives a probability score for each action class. In addition, we compute another simple feature, which calibrates each of the action sequences to the training sequences, and models the deviation of the action from the each of the training data. Finally, a score level fusion of the two heterogeneous but complementary features for each window is obtained and the scores for the available windows are successively combined to give the confidence scores of each action class. This way of combining the scores makes the approach suitable for scenarios where only part of the sequence is available. Extensive experimental evaluation on three publicly available datasets shows the effectiveness of the proposed approach for both offline and online action recognition tasks.

研究动机与目标

• 开发一种统一的框架，用于基于3D骨骼关节点的离线与在线动作识别。
• 通过将带时间戳的训练数据融入滑动字典，解决时间错位与部分序列识别问题。
• 通过融合两种互补特征（稀疏重建误差与关节点偏差校准）提升识别鲁棒性。
• 实现低延迟的实时增量置信度评分，支持在线动作识别。
• 在部分数据可用的情况下，于标准基准上验证方法的有效性，模拟真实世界在线场景。

提出的方法

• 利用带时间戳的训练序列构建滑动字典，以建模时间动态特性。
• 将输入动作序列划分为重叠的时间窗口，用于帧级分析。
• 使用字典为每个窗口计算稀疏系数，进而推导基于重建误差的概率评分（按动作类别）。
• 引入一种帧级关节点偏差特征，用于建模测试序列相对于训练序列的偏差。
• 对每个窗口的重建误差与偏差特征进行分数级融合，生成置信度评分。
• 跨所有可用窗口增量式聚合评分，实现在新帧到达时逐步累积在线置信度。

实验结果

研究问题

• RQ1 基于带时间戳训练数据的滑动字典是否能提升在部分序列可用情况下的动作识别鲁棒性？
• RQ2 稀疏重建误差与关节点偏差特征的融合在动作分类中效果如何？
• RQ3 当仅能获取动作序列的一小部分时，所提方法在在线识别中的准确性能保持多高？
• RQ4 增量置信度评分机制是否能实现可靠的早期预测？
• RQ5 在标准3D动作识别基准上，该方法与最先进方法相比表现如何？

主要发现

• 当以协方差描述符作为字典输入时，该方法在UTK数据集上达到88.89%的识别准确率，在UTD数据集上达到79.07%的准确率。
• 在仅提供总帧数10%的情况下，该方法在UTK数据集上仍达到59.6%的准确率，表明其具备强大的早期预测能力。
• 在序列长度达到约70%时，识别准确率已接近最大性能的90%，证明了其在部分序列识别方面的有效性。
• 正确动作类别的置信度评分随帧数增加而持续上升，而错误类别的评分则下降，从而支持可靠的在线决策。
• 该方法在离线与在线场景之间的准确率下降幅度极小，证实其对部分数据的无缝适应能力。
• 该方法在多个数据集（包括UTD、UT Kinect和MSRC-12）上均保持高性能，验证了其泛化能力与鲁棒性。