[论文解读] Supervised Adversarial Networks for Image Saliency Detection

Hengyue Pan, Hui Jiang|arXiv (Cornell University)|Apr 24, 2017

Visual Attention and Saliency Detection参考文献 22被引用 5

一句话总结

本文提出监督对抗网络（SAN），一种基于生成对抗网络（GAN）的新型全监督框架，用于图像显著性检测。该框架联合训练一个生成器网络以生成显著性图，以及一个判别器网络以区分真实显著性图与合成显著性图。通过引入一种新型卷积对比层，并在训练中利用类别标签，SAN在Pascal VOC 2012数据集上实现了最先进性能，Fβ得分为0.681。

ABSTRACT

In the past few years, Generative Adversarial Network (GAN) became a prevalent research topic. By defining two convolutional neural networks (G-Network and D-Network) and introducing an adversarial procedure between them during the training process, GAN has ability to generate good quality images that look like natural images from a random vector. Besides image generation, GAN may have potential to deal with wide range of real world problems. In this paper, we follow the basic idea of GAN and propose a novel model for image saliency detection, which is called Supervised Adversarial Networks (SAN). Specifically, SAN also trains two models simultaneously: the G-Network takes natural images as inputs and generates corresponding saliency maps (synthetic saliency maps), and the D-Network is trained to determine whether one sample is a synthetic saliency map or ground-truth saliency map. However, different from GAN, the proposed method uses fully supervised learning to learn both G-Network and D-Network by applying class labels of the training set. Moreover, a novel kind of layer call conv-comparison layer is introduced into the D-Network to further improve the saliency performance by forcing the high-level feature of synthetic saliency maps and ground-truthes as similar as possible. Experimental results on Pascal VOC 2012 database show that the SAN model can generate high quality saliency maps for many complicate natural images.

研究动机与目标

• 解决基于自底向上的显著性检测方法在处理背景杂乱或目标边界模糊的复杂图像时的局限性。
• 通过引入全监督机制和结构化修改，将生成对抗网络（GAN）框架适配于显著性检测任务。
• 通过新型层设计，强制真实显著性图与生成显著性图在特征层面保持相似性，从而提升显著性图质量。
• 通过全监督的对抗训练范式，在Pascal VOC 2012等基准数据集上实现最先进性能。

提出的方法

• 生成器（G-Network）是一个全卷积网络，以自然图像为输入，输出合成显著性图。
• 判别器（D-Network）被训练以判断输入是真实显著性图还是合成显著性图，共使用21类（20个物体类别 + 1个合成类别）。
• 在D-Network中引入一种新型卷积对比层，以最小化真实与合成显著性图在高层特征上的差异。
• 训练过程在每轮迭代中交替更新判别器6个周期，生成器2个周期，使用随机梯度下降（SGD）并配合学习率衰减。
• 后处理阶段应用SLIC超像素分割和低层特征（如Fu等人提出的方法），以优化最终显著性图。
• 该框架利用训练集中提供的类别标签，对G-Network和D-Network进行联合监督，实现全监督的对抗学习。

实验结果

研究问题

• RQ1 与传统自底向上方法或弱监督方法相比，全监督的对抗训练是否能显著提升显著性检测性能？
• RQ2 所提出的卷积对比层在对齐真实与合成显著性图的高层特征方面是否有效，从而提升检测质量？
• RQ3 类别级监督与对抗学习的结合是否能提升模型在复杂真实图像上的泛化能力？
• RQ4 在Pascal VOC 2012数据集上，所提出的SAN模型相较于最先进显著性检测方法，在Fβ得分和视觉质量方面表现如何？

主要发现

• 所提出的SAN模型在Pascal VOC 2012验证集上取得0.681的Fβ得分，优于基线方法（如RC的0.561和Deep Saliency的0.678）。
• 对抗学习、全监督训练以及卷积对比层的引入，显著提升了性能，相较于消融实验变体（如无后处理的SAN得分为0.613），性能明显增强。
• 即使在背景杂乱或目标边界模糊的复杂图像上，模型仍能生成高质量显著性图，这一结果在定性分析中得到验证。
• 当α=0.8时，卷积对比层能有效减少真实与合成显著性图之间的特征差异，从而提升整体性能。
• 该方法优于传统自底向上方法及近期基于CNN的显著性检测模型，充分证明了监督GAN方法的有效性。
• 通过SLIC超像素和低层特征进行后处理，进一步优化了显著性图的空间一致性与边界准确性。