[论文解读] Progressive Attention Networks for Visual Attribute Prediction

Paul Hongsuck Seo, Zhe Lin+3 more|arXiv (Cornell University)|Jun 8, 2016

Multimodal Machine Learning Applications参考文献 23被引用 32

一句话总结

本文提出渐进式注意力网络（PAN），一种新颖的多层注意力机制，通过在多个卷积层上应用注意力，逐步细化对图像中不同尺度和形状物体的关注。通过将硬注意力与似然边际化及局部上下文建模相结合，PAN在视觉属性预测任务中实现了最先进性能，优于软注意力和空间变换网络，在合成数据集和真实世界数据集上均表现更优。

ABSTRACT

We propose a novel attention model that can accurately attends to target objects of various scales and shapes in images. The model is trained to gradually suppress irrelevant regions in an input image via a progressive attentive process over multiple layers of a convolutional neural network. The attentive process in each layer determines whether to pass or block features at certain spatial locations for use in the subsequent layers. The proposed progressive attention mechanism works well especially when combined with hard attention. We further employ local contexts to incorporate neighborhood features of each location and estimate a better attention probability map. The experiments on synthetic and real datasets show that the proposed attention networks outperform traditional attention methods in visual attribute prediction tasks.

研究动机与目标

• 解决单层注意力机制在处理视觉属性预测中多样化尺度与形状物体时的局限性。
• 通过在CNN的多层中逐步优化注意力图，提升注意力的准确性和鲁棒性。
• 通过在特征图中引入局部空间上下文，提升注意力的稳定性和定位精度。
• 证明在查询特定的视觉属性预测任务中，硬注意力优于软注意力。
• 通过在VGG-16中间层堆叠注意力模块并进行端到端训练，在真实世界与合成数据集上实现更优性能。

提出的方法

• 该模型在预训练的VGG-16网络的多层上应用渐进式注意力机制，从感受野较小的低层特征开始，逐步过渡到感受野较大的高层特征。
• 在每一层，网络预测一个注意力图，通过学习选择性地抑制无关的空间位置，实现对特征激活的传递或阻断。
• 通过在每个空间位置周围（δ=2）聚合邻域特征，对局部上下文进行建模，以稳定注意力图的估计。
• 通过似然边际化实现硬注意力，替代软特征聚合，以提升定位精度并减少语义失真。
• 使用Adam优化器配合学习率衰减进行端到端微调，通过将查询嵌入与最终注意力特征融合，实现查询特定的条件化。
• 评估方法包括是否引入物体类别条件先验，其中先验通过全连接层将查询与注意力特征向量融合。

实验结果

研究问题

• RQ1 多层注意力机制能否提升视觉属性预测中不同尺度与形状物体的定位准确性？
• RQ2 在该场景下，将硬注意力与似然边际化结合是否优于软注意力？
• RQ3 引入局部空间上下文如何影响注意力图的稳定性和精度？
• RQ4 在特征层次上采用渐进式注意力是否显著优于如STN或SAN等单层注意力机制？
• RQ5 所提方法在查询特定属性预测任务中，能否在合成数据集与真实世界数据集上均实现良好泛化？

主要发现

• 在'仅注意力'设置下，PAN[H]+CTX模型在VG数据集上达到34.19的加权mAP，显著优于所有基线模型。
• 在PASCAL VOC 2007数据集上，PAN[H]+CTX达到31.79%的TPR，为所有模型中的最高值，表明其注意力定位质量更优。
• 采用硬注意力与局部上下文的模型（PAN[H]+CTX）在VOC 2007上实现24.37%的TPR，优于SAN（22.01%）与HAN（24.91%）。
• 采用渐进式注意力与局部上下文的PAN[S]+CTX在VG数据集上达到32.50%的mAP，超过SAN（31.84%）与HAN（31.93%）。
• 空间变换网络（STN）虽mAP较高，但TPR表现差（分别为11.59%与1.99%），表明其在准确性上表现良好，但定位能力弱。
• 消融实验确认，硬注意力与局部上下文均对性能有显著贡献，PAN[H]+CTX取得最佳整体结果。