[论文解读] Video Saliency Detection with Domain Adaptation using Hierarchical Gradient Reversal Layers.

Giovanni Bellitto, Federica Proietto Salanitri+4 more|arXiv (Cornell University)|Oct 2, 2020

Visual Attention and Saliency Detection参考文献 21被引用 4

一句话总结

本文提出一种基于分层特征多头监督与分层梯度反转层域自适应的3D全卷积视频显著性模型。通过利用多尺度特征与对抗性自适应，该模型在DHF1K、Hollywood2和UCF Sports基准的监督设置下达到最先进性能，在无监督设置下也取得具有竞争力的结果。

ABSTRACT

In this work, we propose a 3D fully convolutional architecture for video saliency detection that employs multi-head supervision on intermediate maps (referred to as conspicuity maps) generated using features extracted at different abstraction level. More specifically, the model employs a single encoder and features extracted at different levels are then passed to multiple decoders aiming at predicting multiple saliency instances that are finally combined to obtain final output saliency maps. We also combine the hierarchical features extracted from the model's encoder with a domain adaptation approach based on gradient reversal at multiple scales in order to improve the generalization capabilities on datasets for which no annotations are provided during training. The results of our experiments on standard benchmarks, namely DHF1K, Hollywood2 and UCF Sports, show that the proposed model outperforms state-of-the-art methods on most metrics for supervised saliency prediction. Moreover, when tested in an unsupervised settings, it is able to obtain performance comparable to those achieved by supervised state-of-the-art methods.

研究动机与目标

• 通过在不同抽象层级上对多级特征进行监督，提升视频显著性检测性能。
• 通过使用分层梯度反转进行域自适应，提升模型在未标注数据集上的泛化能力。
• 在无需目标域标注的情况下，实现在监督与无监督设置下的强性能表现。
• 设计一种统一架构，结合多解码器监督与对抗性自适应，以提升显著性预测性能。

提出的方法

• 模型使用单个3D编码器，在多个抽象层级上提取分层特征。
• 多个解码器分别处理来自编码器不同层级的特征，生成中间显著图。
• 对这些中间显著图应用多头监督，以改善特征学习与显著性预测的准确性。
• 在多个尺度上应用分层梯度反转层，以对齐源域与目标域之间的特征分布。
• 通过反向传播过程中梯度反转实现域自适应，最小化域偏移，同时保留任务特定特征。
• 通过融合所有解码器的预测结果获得最终显著性图，以提升空间与时间精度。

实验结果

研究问题

• RQ1 与单输出模型相比，对分层特征施加多头监督是否能提升视频显著性检测性能？
• RQ2 分层梯度反转在视频显著性零样本域自适应中，对减少域偏移的效果如何？
• RQ3 所提模型是否能在无目标域标注的情况下，实现与无监督设置下SOTA方法相当的性能？
• RQ4 多尺度监督与域自适应的结合在多大程度上增强了模型在多样化视频数据集上的泛化能力？

主要发现

• 在监督训练设置下，所提模型在DHF1K、Hollywood2和UCF Sports等标准基准上超越了当前最先进方法。
• 在无监督设置下，模型性能与监督SOTA方法相当，展现出强大的零样本泛化能力。
• 对中间显著图应用多头监督可显著提升在多样化视频内容上的显著性预测准确性与鲁棒性。
• 分层梯度反转显著改善了域自适应效果，降低了在未标注数据集上测试时的性能下降。
• 多尺度特征与对抗性自适应的结合提升了预测显著性图在空间与时间维度上的一致性。
• 该模型在多样化视频类别（包括体育与动态场景）中均保持强性能，表明其具有广泛的适用性。