[论文解读] Temporal Extension of Scale Pyramid and Spatial Pyramid Matching for Action Recognition

Zhenzhong Lan, Xuanchong Li+1 more|arXiv (Cornell University)|Aug 29, 2014

Human Pose and Action Recognition参考文献 2被引用 11

一句话总结

该论文提出了一种用于视频动作识别的时序扩展方法，引入了时序尺度金字塔（TSP）、时序扩展描述符（TED）和时序划分金字塔（TDP），以实现时序尺度不变性并保持时序顺序。该方法显著提升了动作识别的准确率，在HMDB51和Hollywood2数据集上分别取得了65.0%的平均准确率和68.2%的平均平均精度，相较于最先进方法分别提升了7.8%和3.9%的绝对准确率。

ABSTRACT

Historically, researchers in the field have spent a great deal of effort to create image representations that have scale invariance and retain spatial location information. This paper proposes to encode equivalent temporal characteristics in video representations for action recognition. To achieve temporal scale invariance, we develop a method called temporal scale pyramid (TSP). To encode temporal information, we present and compare two methods called temporal extension descriptor (TED) and temporal division pyramid (TDP) . Our purpose is to suggest solutions for matching complex actions that have large variation in velocity and appearance, which is missing from most current action representations. The experimental results on four benchmark datasets, UCF50, HMDB51, Hollywood2 and Olympic Sports, support our approach and significantly outperform state-of-the-art methods. Most noticeably, we achieve 65.0% mean accuracy and 68.2% mean average precision on the challenging HMDB51 and Hollywood2 datasets which constitutes an absolute improvement over the state-of-the-art by 7.8% and 3.9%, respectively.

研究动机与目标

• 解决现有视频表征方法在复杂人类动作中缺乏时序尺度不变性与时序顺序编码的问题。
• 克服当前方法在处理动作速度和时序序列大幅变化时的局限性。
• 开发基于图像处理原理启发的实用且经验验证有效的技术，用于视频动作识别。
• 提升在真实世界、具有挑战性的基准数据集（如HMDB51和Hollywood2）上的性能，这些数据集中动作变化较大。
• 提供一个模块化框架，结合TSP、TED和TDP，可灵活应用于视频表征流程的不同阶段。

提出的方法

• 引入时序尺度金字塔（TSP），通过将动作速度建模为时序尺度，类比图像处理中的尺度空间理论，实现时序尺度不变性。
• 提出时序扩展描述符（TED），将一维时序信息编码到原始特征中，类似于空间增强，通过引入时序上下文提升特征表示能力。
• 开发时序划分金字塔（TDP）作为特征池化技术，将视频划分为子时序区域并计算局部特征统计量，模仿空间金字塔匹配以实现时序建模。
• 在特征提取阶段集成TSP，在特征量化与池化阶段使用TED，在池化阶段应用TDP，实现模块化与灵活组合。
• 采用密集轨迹结合Fisher向量编码作为基础特征表示，并在不同阶段应用TSP、TED和TDP以增强判别能力。
• 通过组合TSP + TED + TDP实现最优性能，消融实验表明TSP + TED已构成一个强大且高效的基线。

实验结果

研究问题

• RQ1 能否通过类比图像尺度空间理论的金字塔方法，在视频表征中有效建模时序尺度不变性？
• RQ2 如何在不依赖复杂时序模型的前提下，将时序顺序与序列动态编码到视频特征中？
• RQ3 结合多种时序编码技术（TSP、TED、TDP）对不同基准数据集上的动作识别性能有何影响？
• RQ4 所提出方法在HMDB51和Hollywood2等具有挑战性的现实世界数据集上与最先进方法相比表现如何？
• RQ5 引入时序尺度与顺序建模的计算成本如何？是否能在实现显著准确率提升的同时保持较低的计算开销？

主要发现

• 所提方法在具有挑战性的HMDB51和Hollywood2数据集上分别取得了65.0%的平均准确率和68.2%的平均平均精度，相较于之前最先进方法分别提升了7.8%和3.9%的绝对准确率。
• TSP + TED组合在整体性能上表现最佳，在UCF50上达到94.2%的平均准确率，在HMDB51上为65.0%，在Hollywood2上为67.9%，在Olympic Sports上为92.9%。
• 采用尺度层级2的TSP方法提供了稳定且最优的性能，将计算成本控制在单次遍历方法的两倍以内，同时显著提升了准确率。
• TDP在与TSP和TED结合时可提升Hollywood2上的性能，但显著增加了特征向量大小，表明性能与效率之间存在权衡。
• 该方法优于近期采用不同特征的方法，如Shao等人（HMDB51上为37.3%）和Shi等人（HMDB51上为47.6%），证明了其鲁棒性与泛化能力。
• 实验结果证实，结合TSP、TED和TDP可在全部四个基准数据集上实现一致的性能提升，验证了多阶段、模块化设计的有效性。