[论文解读] Saliency-based Sequential Image Attention with Multiset Prediction

Sean Welleck, Jialin Mao+2 more|arXiv (Cornell University)|Nov 14, 2017

Visual Attention and Saliency Detection参考文献 39被引用 11

一句话总结

本文提出了一种分层视觉架构，结合显著性图与一种新颖的基于强化学习的训练过程，实现多集多标签图像分类中的顺序性、显著性驱动图像注意力。该模型融合了隐性注意与显性注意机制，通过支持任意标签排列和每类多个实例，实现了高精度与高召回率。

ABSTRACT

Humans process visual scenes selectively and sequentially using attention. Central to models of human visual attention is the saliency map. We propose a hierarchical visual architecture that operates on a saliency map and uses a novel attention mechanism to sequentially focus on salient regions and take additional glimpses within those regions. The architecture is motivated by human visual attention, and is used for multi-label image classification on a novel multiset task, demonstrating that it achieves high precision and recall while localizing objects with its attention. Unlike conventional multi-label image classification models, the model supports multiset prediction due to a reinforcement-learning based training process that allows for arbitrary label permutation and multiple instances per label.

研究动机与目标

• 开发一种深度学习架构，通过依次聚焦于显著图像区域，结合隐性与显性注意机制，模拟人类视觉注意机制。
• 解决传统多标签分类模型对标签顺序敏感且无法处理每类多个实例的局限性。
• 设计一种基于强化学习的训练过程，通过标签排列不变性与每类支持多个预测，实现多集预测。
• 通过优先级图将自下而上的显著性图与自上而下的目标导向注意机制相结合，受生物视觉注意模型启发。
• 证明分层注意机制在定位物体与实现多集任务高分类性能方面的有效性。

提出的方法

• 模型通过前馈网络处理图像，生成自下而上的显著性图，基于低级特征编码视觉位置的显眼程度。
• 采用分层注意机制：高层控制器利用显著性图选择显著区域，低层控制器在这些区域内执行更精细的凝视。
• 隐性注意机制使用高斯空间滤波器同时聚焦于多个不相交区域，实现噪声排除与干扰物抑制。
• 显性注意机制引导顺序凝视至特定位置，控制器通过强化学习学习选择最优凝视。
• 设计一种新颖的奖励信号，鼓励控制器在高显著性区域采取凝视动作并提升分类性能，且与标签顺序无关。
• 模型通过端到端强化学习进行训练，奖励信号经调整以促进所有标签的高精度与高召回率，包括每类多个实例。

实验结果

研究问题

• RQ1 深度学习模型能否有效模拟受人类认知启发的顺序性、显著性驱动视觉注意？
• RQ2 如何训练视觉模型以支持多集预测——即任意标签排列与每类多个实例——而无需依赖固定的标签顺序？
• RQ3 同时整合隐性与显性注意机制在多大程度上提升了物体定位与分类性能？
• RQ4 基于强化学习的训练方案是否在多集图像分类任务中优于标准交叉熵训练？
• RQ5 分层注意机制（通过分层凝视选择）在多大程度上增强了特征提取与定位精度？

主要发现

• 所提出的 HSAL-RL 模型在基于集合与多集的图像分类任务中均实现了高精度、高召回率与高宏F1分数，各项指标表现优异。
• 当使用交叉熵而非强化学习训练时，性能显著下降，证实基于强化学习的训练对多集不变性与鲁棒性至关重要。
• 训练过程中控制器的凝视次数从25次增至126.5次，表明其有效学习了显著性引导的注意机制，而无奖励基线模型则未能提升。
• 分层注意机制通过先关注显著区域，再通过多次凝视逐步细化关注，成功实现物体定位，推理示例中已可视化。
• 模型能正确预测同一标签的多个实例（如'33'、'449'），并处理标签顺序的排列变化（如'689'与'986'），证明其具备多集预测能力。
• 尽管显著性图质量与激活分辨率存在局限，模块化设计允许集成更高性能的显著性模型或更高分辨率特征以进一步提升性能。