[论文解读] Scale Matters: Temporal Scale Aggregation Network for Precise Action Localization in Untrimmed Videos

Guoqiang Gong, Liangfeng Zheng+2 more|arXiv (Cornell University)|Aug 2, 2019

Human Pose and Action Recognition参考文献 57被引用 4

一句话总结

本文提出TSA-Net，一种时间尺度聚合网络，通过在多分支架构中使用多膨胀时间卷积（MDC）模块，以处理未剪辑视频中可变时长的动作实例。通过检测三个关键边界点（起始、中间、结束）并融合多尺度上下文特征，TSA-Net在THUMOS14上实现了46.9%的mAP@0.5，在ActivityNet-1.3上实现了34.62%的平均mAP，达到当前最先进性能。

ABSTRACT

Temporal action localization is a recently-emerging task, aiming to localize video segments from untrimmed videos that contain specific actions. Despite the remarkable recent progress, most two-stage action localization methods still suffer from imprecise temporal boundaries of action proposals. This work proposes a novel integrated temporal scale aggregation network (TSA-Net). Our main insight is that ensembling convolution filters with different dilation rates can effectively enlarge the receptive field with low computational cost, which inspires us to devise multi-dilation temporal convolution (MDC) block. Furthermore, to tackle video action instances with different durations, TSA-Net consists of multiple branches of sub-networks. Each of them adopts stacked MDC blocks with different dilation parameters, accomplishing a temporal receptive field specially optimized for specific-duration actions. We follow the formulation of boundary point detection, novelly detecting three kinds of critical points (ie, starting / mid-point / ending) and pairing them for proposal generation. Comprehensive evaluations are conducted on two challenging video benchmarks, THUMOS14 and ActivityNet-1.3. Our proposed TSA-Net demonstrates clear and consistent better performances and re-calibrates new state-of-the-art on both benchmarks. For example, our new record on THUMOS14 is 46.9% while the previous best is 42.8% under mAP@0.5.

研究动机与目标

• 解决由于动作时长可变，导致在未剪辑视频中时间边界定位不精确的问题。
• 克服固定感受野模型和单尺度方法在处理多样化动作长度时的局限性。
• 通过新颖的多分支网络设计，融合多尺度时间上下文，提升提议质量。
• 通过联合回归起始、中间和结束点，并引入可学习的兼容性函数，提升边界检测的可靠性。
• 在不依赖复杂时空特征的前提下，实现在大规模基准上的最先进性能。

提出的方法

• 提出一种多膨胀时间卷积（MDC）模块，利用不同膨胀率的空洞卷积，高效扩展感受野。
• 设计一个三分支网络架构，通过在堆叠的MDC模块中使用不同的膨胀率，使每个分支专门处理特定的动作时长效度。
• 将动作定位建模为边界点检测任务，检测三类关键点：起始点、中间点和结束点。
• 通过配对检测到的起始点和结束点生成提议，其置信度分数由可学习的成对兼容性函数计算得出。
• 引入一个轻量级子网络，回归每个提议的贝叶斯置信度，提升定位精度。
• 采用两阶段框架：首先通过边界检测生成提议，然后利用兼容性感知评分机制进行优化。

实验结果

研究问题

• RQ1 多膨胀时间卷积能否有效捕捉跨多样化动作时长的长程时间上下文？
• RQ2 具有专用膨胀率的多分支架构是否相比单分支模型能提升边界定位性能？
• RQ3 联合检测起始、中间和结束点是否相比传统两点检测能提升提议质量？
• RQ4 所提出的兼容性函数在提升提议评分和减少误报方面效果如何？
• RQ5 该方法在THUMOS14和ActivityNet-1.3等标准基准上相比现有最先进方法的性能提升程度如何？

主要发现

• 在THUMOS14上，TSA-Net实现了46.9%的mAP@0.5，显著优于相同IoU阈值下之前的最先进方法（42.8%）。
• 在ActivityNet-1.3上，TSA-Net实现了34.62%的平均mAP，相比之前最佳的32.84%创下新的最先进水平。
• 所提出的兼容性函数在THUMOS14上将AR@AN提升了2.0分，证明其在优化提议评分方面的有效性。
• 使用P3D特征时，TSA-Net在THUMOS14上实现了48.3%的mAP@0.3，表明其在不同IoU阈值下具有强大的泛化能力。
• 采用不同膨胀率的多分支设计在从0.3到0.7的所有IoU阈值下均持续提升性能。
• 消融实验确认，MDC模块和三点检测策略对模型卓越性能均至关重要。