[论文解读] TASED-Net: Temporally-Aggregating Spatial Encoder-Decoder Network for Video Saliency Detection

Kyle Min, Jason J. Corso|arXiv (Cornell University)|Aug 15, 2019

Visual Attention and Saliency Detection参考文献 40被引用 17

一句话总结

TASED-Net 是一种用于视频显著性检测的 3D 全卷积编码器-解码器网络，通过一种新颖的辅助池化机制，联合执行空间解码与时间聚合，以实现有效的最大反池化。该方法在 DHF1K、Hollywood2 和 UCFSports 数据集上显著优于先前的最先进方法，尤其在关注显著运动物体方面表现突出。

ABSTRACT

TASED-Net is a 3D fully-convolutional network architecture for video saliency detection. It consists of two building blocks: first, the encoder network extracts low-resolution spatiotemporal features from an input clip of several consecutive frames, and then the following prediction network decodes the encoded features spatially while aggregating all the temporal information. As a result, a single prediction map is produced from an input clip of multiple frames. Frame-wise saliency maps can be predicted by applying TASED-Net in a sliding-window fashion to a video. The proposed approach assumes that the saliency map of any frame can be predicted by considering a limited number of past frames. The results of our extensive experiments on video saliency detection validate this assumption and demonstrate that our fully-convolutional model with temporal aggregation method is effective. TASED-Net significantly outperforms previous state-of-the-art approaches on all three major large-scale datasets of video saliency detection: DHF1K, Hollywood2, and UCFSports. After analyzing the results qualitatively, we observe that our model is especially better at attending to salient moving objects.

研究动机与目标

• 为解决现有视频显著性模型分别处理空间与时间信息或使用 LSTMs 等循环单元的局限性。
• 开发一种全卷积架构，联合建模空间与时间特征，以提升显著性预测性能。
• 克服解码器上采样过程中最大反池化层的时间感受野不匹配问题。
• 验证基于有限数量过去帧的条件输入是否足够且有效于视频显著性预测。
• 证明联合时空建模相较于使用 LSTMs 的顺序处理方法在视频显著性检测中更具优势。

提出的方法

• 网络使用在 Kinetics 上预训练的 S3D 作为编码器，从包含 T 个连续帧的视频片段中提取低分辨率时空特征。
• 预测网络通过转置卷积和最大反池化层实现空间上采样，辅助池化提供合适尺寸的开关以实现时间重建。
• 辅助池化通过引入时间维度减小的额外最大池化操作，生成最大反池化层所需的合法开关，从而解决池化与反池化之间的时间范围不匹配问题。
• 模型通过滑动窗口推理策略，为每个输入视频片段预测单一显著性图，实现在整个视频上的逐帧显著性预测。
• 该架构避免使用 LSTMs 等循环单元，转而采用全卷积操作，联合解码空间信息并聚合时间信息。
• 该方法在三个大规模数据集上使用标准指标（包括 NSS、CC、SIM、AUC-J 和 s-AUC）进行评估。

实验结果

研究问题

• RQ1 全卷积网络能否联合执行空间解码与时间聚合，从而在性能上超越基于 LSTMs 的方法？
• RQ2 基于固定数量过去帧进行显著性预测是否有效？最优窗口大小是多少？
• RQ3 当时间感受野不匹配时，最大反池化层在 3D 解码器中是否仍可有效使用？
• RQ4 所提出的辅助池化机制是否优于标准上采样方法（如插值和转置卷积）？
• RQ5 联合时空建模是否能相比先前方法更有效地关注运动显著物体？

主要发现

• TASED-Net 在三个基准数据集（DHF1K、Hollywood2 和 UCFSports）上均达到最先进性能，其中在 DHF1K 上的平均 NSS 达到 2.706。
• 该模型显著优于先前的 SOTA 方法，在 DHF1K 上相比次优方法实现了 0.122 的 NSS 提升。
• 当 T=32 帧（约一秒钟视频）时，TASED-Net 达到最佳性能，表明固定大小的过去帧窗口已足够实现最优显著性预测。
• 消融实验表明，辅助池化优于双线性插值和转置卷积，证明其必要性与有效性。
• 增加更深的空间解码（更多转置卷积层）会轻微降低性能，表明显著性任务中精确的空间重建不如语义分割任务关键。
• 在窗口内预测多个显著性图会降低性能，证实单图预测结合时间聚合的策略更为有效。