[论文解读] Spatio-Temporal Action Detection with Cascade Proposal and Location Anticipation

Zhenheng Yang, Jiyang Gao+1 more|arXiv (Cornell University)|Jul 31, 2017

Human Pose and Action Recognition参考文献 19被引用 15

一句话总结

该论文提出了一种级联提议与位置预测（CPLA）模型，用于未修剪视频中的时空动作检测，通过级联RPN提升提议准确性，并引入位置预测网络（LAN）以利用帧间的时空一致性。该方法在UCF101-24上实现了73.54%的mAP，在LIRIS-HARL上实现了54.34%的mAP，通过联合建模外观与运动特征，并结合得分最大化的时序关联，显著优于先前方法，达到当前最优性能。

ABSTRACT

In this work, we address the problem of spatio-temporal action detection in temporally untrimmed videos. It is an important and challenging task as finding accurate human actions in both temporal and spatial space is important for analyzing large-scale video data. To tackle this problem, we propose a cascade proposal and location anticipation (CPLA) model for frame-level action detection. There are several salient points of our model: (1) a cascade region proposal network (casRPN) is adopted for action proposal generation and shows better localization accuracy compared with single region proposal network (RPN); (2) action spatio-temporal consistencies are exploited via a location anticipation network (LAN) and thus frame-level action detection is not conducted independently. Frame-level detections are then linked by solving an linking score maximization problem, and temporally trimmed into spatio-temporal action tubes. We demonstrate the effectiveness of our model on the challenging UCF101 and LIRIS-HARL datasets, both achieving state-of-the-art performance.

研究动机与目标

• 通过解决在时间和空间上精确定位的挑战，提升未修剪视频中的时空动作检测性能。
• 通过建模帧间动作位置的时空一致性，利用运动趋势提升检测性能。
• 通过级联RPN提升区域提议质量，该方法优于单阶段RPN，尤其在高IoU区域表现更优。
• 在特征层面而非后期融合阶段实现外观与运动特征的有效融合，提升检测鲁棒性。
• 通过端到端的时序关联与检测修剪，实现在UCF101-24和LIRIS-HARL基准数据集上的SOTA性能。

提出的方法

• 采用级联区域提议网络（casRPN）通过两阶段RPN生成更精确的动作提议，降低高IoU区域的低召回问题。
• 位置预测网络（LAN）通过建模帧间间隔为K的运动趋势，利用t-K帧的检测结果预测t帧的未来动作边界框。
• 采用双流网络（RGB与光流）提取外观与运动特征，通过在conv5特征上进行拼接实现特征级融合（CPLA-conv5），以增强表征能力。
• 通过最大化链接得分的时序关联问题，平衡检测置信度与空间重叠（IoU），随后进行时序修剪，形成时空动作管。
• 在链接过程中使用超参数β平衡检测得分与IoU，β=0.7被确定为最优值，可避免结果碎片化与ID切换。
• 在UCF101-24与LIRIS-HARL上评估该框架，并通过消融实验分析预测间隔K与融合策略，验证设计选择的有效性。

实验结果

研究问题

• RQ1 与单阶段RPN相比，级联RPN是否能提升动作提议定位精度，尤其是在高IoU区域？
• RQ2 通过位置预测网络建模动作位置的时空一致性，是否能提升帧级检测性能？
• RQ3 预测未来动作位置的最优预测间隔K是多少？其对检测mAP有何影响？
• RQ4 在双流动作检测中，特征级融合是否优于检测框级融合？
• RQ5 所提出的CPLA框架是否能在UCF101-24与LIRIS-HARL等挑战性基准上实现SOTA性能？

主要发现

• 在UCF101-24数据集上，CPLA模型在时空IoU阈值为0.2时达到73.54%的mAP，优于先前SOTA方法（MR-TS R-CNN）的0.68%。
• 在更具挑战性的LIRIS-HARL数据集上，CPLA在δ=0.2时达到54.34%的mAP，显著优于先前SOTA方法（Saha et al.）的49.10%。
• 最优预测间隔K为8，在δ=0.2时实现73.54%的mAP；K=2与K=16时性能下降，分别因运动信息不足与时序噪声过大。
• 特征级融合（CPLA-conv5）优于边界框级融合（CPLA-bbox），在δ=0.2时mAP提升3.15%，证实了外观与运动特征早期融合的优势。
• 消融实验证实，casRPN与LAN均对性能有显著贡献：casRPN提升提议质量，LAN增强时序一致性。
• 链接超参数β对结果敏感：β偏离0.7会导致结果碎片化或ID切换，从而降低mAP。