[论文解读] TransNet: A deep network for fast detection of common shot transitions

Tomáš Souček, Jaroslav Moravec+1 more|arXiv (Cornell University)|Jun 8, 2019

Video Analysis and Summarization参考文献 15被引用 18

一句话总结

TransNet 提出了一种轻量级、高效的 3D 卷积神经网络，采用空洞卷积检测视频中的常见镜头切换（硬切和溶剂过渡），在 RAI 数据集上实现了最先进的 F1 得分 0.943。该模型在缩放后的帧上运行，在单张 GPU 上实现了超过 100 倍的实时推理速度，优于先前方法，且无需后处理或大量参数。

ABSTRACT

Shot boundary detection (SBD) is an important first step in many video processing applications. This paper presents a simple modular convolutional neural network architecture that achieves state-of-the-art results on the RAI dataset with well above real-time inference speed even on a single mediocre GPU. The network employs dilated convolutions and operates just on small resized frames. The training process employed randomly generated transitions using selected shots from the TRECVID IACC.3 dataset. The code and a selected trained network will be available at https://github.com/soCzech/TransNet.

研究动机与目标

• 解决视频处理中快速且准确的镜头边界检测（SBD）挑战，特别是区分真实过渡与运动或遮挡伪影。
• 通过使用空洞卷积高效扩展感受野，克服标准 3D 卷积的计算负担。
• 在保持高准确率的同时实现实时推理速度，且在 RAI 等标准基准上无需复杂后处理。
• 通过从真实视频片段生成的合成数据进行训练，减少对大规模标注数据集的依赖。
• 开发一种可扩展、参数高效的架构，在仅训练两种过渡类型的情况下，仍能很好地泛化到未见的视频内容。

提出的方法

• 设计一种模块化 3D 卷积架构（空洞 DCNN 单元），每层包含四个 3D 卷积，沿时间维度使用不同的空洞率，以在不增加参数量的情况下扩大感受野。
• 将多个空洞 DCNN 单元堆叠成 SDDCNN 块，通过空间最大池化下采样空间维度，同时增加通道深度。
• 使用 2D 空间卷积，填充方式为'same'，步长为 1，并在整个网络中应用 ReLU 激活函数，除最后一层外，该层使用 softmax 进行每帧的二分类。
• 使用从 TRECVID IACC.3 数据集随机选取的镜头对交错生成的合成数据进行训练，以模拟硬切和溶剂过渡。
• 采用共享的全连接头（含 256 个神经元）独立预测每帧的镜头边界可能性，且帧间权重共享。
• 使用交叉熵损失进行模型优化，并基于验证集性能选择超参数（如置信度阈值 θ = 0.1）。

实验结果

研究问题

• RQ1 轻量级 3D CNN 搭载空洞卷积是否能在保持实时推理速度的同时，实现镜头边界检测的 SOTA 性能？
• RQ2 在长渐变过渡中，空洞卷积与标准 3D 卷积相比，在参数效率和感受野覆盖方面表现如何？
• RQ3 在未进行后处理的情况下，仅在合成数据（模拟过渡）上训练的模型，能在多大程度上泛化到真实世界基准（如 RAI）？
• RQ4 该模型在动态场景或细微渐变过渡等挑战性情况下的表现如何？其误报和漏报的性质是什么？
• RQ5 与先前 SOTA 方法相比，参数量显著更少（如减少 40 倍）的模型是否仍能在标准评估指标上达到或超越性能？

主要发现

• TransNet 在 RAI 测试数据集上实现了 0.943 的总体 F1 得分，尽管参数量仅为 Hassanien 等人（2017）的 1/40，但性能与之持平。
• 在 RAI 数据集上，模型的精确率为 96.4%，召回率为 92.3%，在总共 985 个过渡中仅有 34 个误报和 76 个漏报。
• 该网络在 Tesla V100 GPU 上运行速度超过实时的 100 倍，仅用 50 秒便处理完整个 RAI 数据集（约 98 分钟视频）。
• 尽管仅在硬切和溶剂过渡上进行训练，该模型在 RAI 数据集上仍表现出良好的泛化能力，该数据集包含多种过渡类型和复杂场景。
• 误报多出现在动态镜头中（如摄像机运动），而漏报主要出现在渐变过渡中，约 20% 的漏报在相邻帧存在一个误报。
• 该模型优于先前的 SOTA 方法（如 Gygli，2018 和 Baraldi 等人，2015），且在 F1 得分上与 Hassanien 等人（2017）相当或更优，无需额外后处理步骤。