[论文解读] Transition Forests: Learning Discriminative Temporal Transitions for Action Recognition and Detection

Guillermo Garcia-Hernando, Tae‐Kyun Kim|arXiv (Cornell University)|Jul 10, 2016

Human Pose and Action Recognition参考文献 34被引用 5

一句话总结

该论文提出Transition Forests，一种集成决策树模型，通过联合学习帧对之间的判别性静态姿态与时间过渡，实现动作识别与在线检测。在树训练过程中引入成对帧间过渡信息，并在推理时利用历史预测结果，该方法在MSR-Action3D和OAD数据集上实现了最先进性能，同时保持了实时效率。

ABSTRACT

A human action can be seen as transitions between one's body poses over time, where the transition depicts a temporal relation between two poses. Recognizing actions thus involves learning a classifier sensitive to these pose transitions as well as to static poses. In this paper, we introduce a novel method called transitions forests, an ensemble of decision trees that both learn to discriminate static poses and transitions between pairs of two independent frames. During training, node splitting is driven by alternating two criteria: the standard classification objective that maximizes the discrimination power in individual frames, and the proposed one in pairwise frame transitions. Growing the trees tends to group frames that have similar associated transitions and share same action label incorporating temporal information that was not available otherwise. Unlike conventional decision trees where the best split in a node is determined independently of other nodes, the transition forests try to find the best split of nodes jointly (within a layer) for incorporating distant node transitions. When inferring the class label of a new frame, it is passed down the trees and the prediction is made based on previous frame predictions and the current one in an efficient and online manner. We apply our method on varied skeleton action recognition and online detection datasets showing its suitability over several baselines and state-of-the-art approaches.

研究动机与目标

• 为解决传统决策森林在建模动作识别时间动态方面的局限性。
• 通过联合学习静态姿态与时间过渡，提升帧级动作预测的鲁棒性。
• 通过在推理过程中整合历史预测结果，实现低延迟、实时的在线动作检测。
• 开发一种联合优化树层内分类与过渡判别能力的训练流程。
• 在不依赖手工设计特征或循环结构的前提下，保持低计算复杂度并捕捉长程时间依赖。

提出的方法

• 该方法使用随机决策树的集成模型，在节点分裂过程中交替优化帧分类与成对帧间过渡判别目标。
• 树的生长过程通过在每一层中迭代聚合具有相似过渡与标签的帧，以捕捉远距离时间依赖。
• 每个节点被随机分配以优化标准分类目标或所提出的基于过渡的准则，从而实现静态与动态特征的联合学习。
• 在推理阶段，通过依赖先前帧的预测结果，以在线方式生成帧预测，实现实时处理。
• 该方法采用RJP（相对关节位置）表示，并在动作起始/终止检测中应用阈值βs = 0.79和βe = 0.16。
• 模型通过端到端联合目标进行训练，平衡帧级准确率与基于过渡的判别能力。

实验结果

研究问题

• RQ1 联合学习静态姿态与时间过渡是否能提升帧级动作识别性能？
• RQ2 在树训练过程中引入成对帧间过渡信息，对模型鲁棒性与泛化能力有何影响？
• RQ3 基于决策森林的方法能否在高精度下实现实时在线动作检测？
• RQ4 在推理中引入历史预测是否相比标准在线方法能改善时间建模？
• RQ5 所提出的训练流程与现有方法相比，在捕捉长程时间动态方面表现如何？

主要发现

• Transition Forests在MSR-Action3D数据集上实现了94.57%的平均准确率，优于所有基线方法及最先进方法JCR-RNN。
• 在OAD数据集上，该方法取得了0.712的整体F1分数，超过所有基线方法及SOTA模型JCR-RNN。
• 模型保持了实时推理，每3200帧序列的平均处理时间为1.84秒，显著快于基于RNN的基线方法。
• 该方法优于RF与PCRF基线，证明了联合学习静态与过渡特征的有效性。
• 在推理中引入历史预测提升了鲁棒性，尤其在高精度检测动作边界方面表现突出。
• 在OAD数据集上，该模型在起始帧与终止帧检测中分别取得了0.514与0.527的F1分数，超过先前方法。