[论文解读] Substructure and Boundary Modeling for Continuous Action Recognition

Zhaowen Wang, Jinjun Wang+3 more|arXiv (Cornell University)|Mar 9, 2012

Human Pose and Action Recognition参考文献 31被引用 13

一句话总结

该论文提出了一种用于连续动作识别的概率图模型，该模型在状态空间框架内整合了子结构转移模型与判别性边界模型。通过建模时间子结构并利用判别性边界施加动作持续时间约束，该方法在公开数据集和内部数据集上均实现了显著的性能提升，优于先前的方法，在分割和识别准确率方面表现更优。

ABSTRACT

This paper introduces a probabilistic graphical model for continuous action recognition with two novel components: substructure transition model and discriminative boundary model. The first component encodes the sparse and global temporal transition prior between action primitives in state-space model to handle the large spatial-temporal variations within an action class. The second component enforces the action duration constraint in a discriminative way to locate the transition boundaries between actions more accurately. The two components are integrated into a unified graphical structure to enable effective training and inference. Our comprehensive experimental results on both public and in-house datasets show that, with the capability to incorporate additional information that had not been explicitly or efficiently modeled by previous methods, our proposed algorithm achieved significantly improved performance for continuous action recognition.

研究动机与目标

• 为解决自底向上和标准自顶向下方法在连续动作识别中的局限性，通过引入具有物理可解释性的先验知识。
• 通过状态空间模型中的子结构转移，对人类动作的分层与可变性进行建模。
• 通过整合判别性持续时间约束，改进动作之间的边界检测。
• 通过在单一图结构中统一子结构与边界建模，实现有效的训练与推理。

提出的方法

• 提出一种子结构转移模型，利用隐藏节点 Z 控制动态系统之间的转移，以捕捉动作内部的非均匀运动基元。
• 采用判别性边界模型，将动作持续时间 D 与连续隐藏状态 X 及子结构转移 Z 相关联，以提升边界定位精度。
• 使用生成式框架与贝叶斯推理，计算每帧的后验概率，实现帧级别的动作子结构识别。
• 在推理过程中应用正交变换与高斯近似，以简化高维积分运算。
• 引入转移先验约束，防止在有限训练数据上发生过拟合。
• 利用逻辑函数建模持续时间转移的概率，从而实现判别性边界的端到端学习。

实验结果

研究问题

• RQ1 如何对动作内部的子结构转移进行建模，以捕捉连续动作识别中分层且多变的运动模式？
• RQ2 在状态空间框架中，通过施加持续时间约束，判别性边界建模能否提升动作分割的准确率？
• RQ3 如何将具有物理可解释性的先验知识（如子结构与持续时间）有效整合到统一的图模型中以提升推理性能？
• RQ4 所提出的模型在处理动作类别中大规模时空变化方面的表现，相较于现有方法提升了多少？

主要发现

• 与先前方法相比，所提模型在公开数据集和内部数据集上均实现了显著的性能提升，展现出更优的分割与识别准确率。
• 子结构转移建模的引入，使模型能够更好地处理具有多样化局部运动统计特性的复杂动作。
• 判别性边界模型通过学习具有鲁棒性的持续时间模式，显著提升了边界定位能力，对运动学与环境变化具有更强的适应性。
• 正交变换与高斯近似的使用，使得在高维连续状态空间中实现可处理的推理成为可能。
• 与标准 SLDS 及其他基于 DBN 的方法相比，该模型通过有效整合具有明确物理意义的先验知识，表现更优。
• 定量结果表明，F1 分数与准确率均有显著提升，尤其在时间可变性较高的挑战性动作类别上表现突出。