[论文解读] YH Technologies at ActivityNet Challenge 2018

Ting Yao, Xue Li|arXiv (Cornell University)|Jun 29, 2018

Human Pose and Action Recognition参考文献 23被引用 11

一句话总结

本文介绍了 YH Technologies 在 ActivityNet Challenge 2018 中的多任务视频理解系统，整合了时序动作提议、定位、密集字幕生成、剪辑动作识别以及时空动作定位。该方法利用多尺度一维卷积网络、双流 P3D 分类器，以及融合帧、片段、运动和音频的混合特征，并结合策略梯度与检索增强字幕生成，所有五个任务均取得最先进结果，其中在 AVA 数据集上的时空动作定位任务 mAP 达到 22.20%。

ABSTRACT

This notebook paper presents an overview and comparative analysis of our systems designed for the following five tasks in ActivityNet Challenge 2018: temporal action proposals, temporal action localization, dense-captioning events in videos, trimmed action recognition, and spatio-temporal action localization.

研究动机与目标

• 开发适用于真实场景中复杂未剪辑视频分析的鲁棒多任务视频理解系统。
• 通过结合粗到细的提议生成与重排序，以及多流特征，提升时序动作定位性能。
• 通过检索增强字幕生成，为未剪辑视频中的多个事件生成多样化且准确的自然语言描述。
• 通过建模管状提议并利用循环结构识别时空管中的动作，提升时空动作定位性能。
• 通过融合来自帧、片段和光流的互补时空线索，利用 2D 和 3D CNN 提升剪辑动作识别性能。

提出的方法

• 时序动作提议的三阶段流水线：使用点对点、成对和循环动作度曲线的粗粒度提议网络（CPN）；使用时序卷积锚点网络（CAN）进行细化；以及使用提议重排序网络（PRN）进行最终选择。
• 对于时序动作定位，采用基于分类的检测框架，利用 TAP 系统生成的提议，并通过双流 P3D 分类器进行动作识别。
• 对于密集字幕生成，采用基于 LSTM 的生成模块，结合策略梯度优化，并通过 KNN 检索模块查找语义相似的视频片段，用于生成句子候选。
• 对于剪辑动作识别，通过 2D 和 3D CNN 融合帧级（ResNet）、片段级（P3D ResNet）和运动级（光流）特征，实现晚期融合。
• 对于时空动作定位，采用双流系统：循环管状提议（RTP）网络利用 RPN 和运动估计在帧间生成并连接提议；循环管状识别（RTR）网络将多通道特征（裁剪区域、RoI 池化区域、完整帧）输入 CNN-LSTM 单元，实现管状级别识别。
• 评估了不同模态下的特征量化策略，包括帧采样率和光流处理，统一采用每视频 25 帧。

实验结果

研究问题

• RQ1 多尺度、多层级的动作度曲线如何提升未剪辑视频中初始时序动作提议的质量？
• RQ2 结合策略梯度优化与基于检索的句子候选，能在多大程度上提升 DCEV 任务上的视频字幕生成性能？
• RQ3 如何实现帧、片段和运动特征的最优融合策略，以提升剪辑动作识别的准确率？
• RQ4 循环管状提议与识别网络是否能有效建模复杂视频中的时空动作定位，并实现高 mAP？
• RQ5 不同特征量化方法如何影响视频理解系统在多个任务上的性能表现？

主要发现

• 所提出的 TAP 系统结合 CPN、CAN 和 PRN，通过融合三种互补的动作度曲线与多尺度细化，实现了高质量的时序动作提议。
• 结合策略梯度与检索模块的密集字幕系统显著提升了 METEOR 分数，证明了强化学习与外部句子检索的有效性。
• 在剪辑动作识别中，使用 P3D ResNet 融合帧、短片段与运动特征的晚期融合策略表现最佳，在 128 帧片段上达到 19.40% mAP。
• RTR 组件在融合多流特征时，在 AVA 验证集上实现了 22.20% mAP，优于单一组件。
• 在 P3D ResNet 中使用 128 帧片段实现了最佳单流性能（19.40% mAP），表明在时空识别中较长上下文具有显著优势。
• 采用前 300 个最近邻的检索模块显著提升了字幕质量，提供了多样化且语境相关的句子候选。