[论文解读] Recurrent Attentional Reinforcement Learning for Multi-label Image Recognition

Tianshui Chen, Zhouxia Wang+2 more|arXiv (Cornell University)|Dec 20, 2017

Domain Adaptation and Few-Shot Learning参考文献 20被引用 14

一句话总结

该论文提出了一种用于多标签图像识别的循环注意力强化学习框架，通过基于LSTM的智能体迭代定位判别性图像区域，实现仅使用图像级别标签的端到端学习。该方法通过建模注意力区域之间的长期依赖关系并显式捕捉标签共现模式，在PASCAL VOC和MS-COCO基准上优于基于提议的方法，实现了最先进的准确率与效率。

ABSTRACT

Recognizing multiple labels of images is a fundamental but challenging task in computer vision, and remarkable progress has been attained by localizing semantic-aware image regions and predicting their labels with deep convolutional neural networks. The step of hypothesis regions (region proposals) localization in these existing multi-label image recognition pipelines, however, usually takes redundant computation cost, e.g., generating hundreds of meaningless proposals with non-discriminative information and extracting their features, and the spatial contextual dependency modeling among the localized regions are often ignored or over-simplified. To resolve these issues, this paper proposes a recurrent attention reinforcement learning framework to iteratively discover a sequence of attentional and informative regions that are related to different semantic objects and further predict label scores conditioned on these regions. Besides, our method explicitly models long-term dependencies among these attentional regions that help to capture semantic label co-occurrence and thus facilitate multi-label recognition. Extensive experiments and comparisons on two large-scale benchmarks (i.e., PASCAL VOC and MS-COCO) show that our model achieves superior performance over existing state-of-the-art methods in both performance and efficiency as well as explicitly identifying image-level semantic labels to specific object regions.

研究动机与目标

• 解决基于提议的多标签识别方法效率低下且性能次优的问题，这些方法会产生冗余且非判别性的区域提议。
• 建模多个物体区域之间的长期空间与语义依赖关系，以捕捉图像中的标签共现模式。
• 通过仅使用图像级别标签实现端到端训练，无需边界框标注。
• 开发一种序列决策机制，通过强化学习自适应地发现信息丰富的区域。
• 与现有最先进方法相比，提升分类准确率与计算效率。

提出的方法

• 该框架使用全卷积网络（VGG16）从输入图像中提取深层特征图。
• 基于LSTM的循环注意力模块迭代预测每个区域的注意力位置和类别得分，利用隐藏状态建模先前迭代的上下文信息。
• 在每一步中，围绕预测位置采样多个具有不同尺度和长宽比的区域，以提高物体覆盖度。
• 智能体通过强化学习进行训练，其中动作为注意力位置的选择，状态包括当前特征和先前隐藏状态，奖励基于分类正确性。
• 模型通过图像级别标签进行端到端优化，无需边界框标注。
• 采用多视角推理策略，通过不同图像尺度聚合预测结果以提升鲁棒性。

实验结果

研究问题

• RQ1 在无边界框监督的情况下，强化学习智能体能否以迭代、基于注意力的方式有效发现多个判别性物体区域？
• RQ2 建模注意力区域之间的长期依赖关系如何提升多标签识别性能？
• RQ3 在准确率与计算效率之间取得平衡时，最优的迭代步数是多少？
• RQ4 与单区域采样相比，每轮使用多个具有可变尺度和长宽比的区域对性能有何影响？
• RQ5 所提方法在准确率与推理速度方面相较于基于提议的基线方法有多大的优势？

主要发现

• 在512×512尺度下采用十视角评估，该方法在PASCAL VOC 2007数据集上实现了91.3%的平均平均精度（mAP），优于现有最先进方法。
• 每轮使用多个区域（9个区域，3种尺度与3种长宽比）的mAP达到91.3%，比单区域采样（90.9%）高出0.4%，证明了多样化区域采样的优势。
• 最优的递归迭代次数为5次，超过此数量后性能不再提升，甚至可能引入噪声。
• 该模型在单张GPU上的推理时间约为350ms/张，比基于提议的方法（如HCP和FeV+LV）快约30倍（后者约10秒/张）。
• 定性可视化结果表明，该框架能成功定位具有不同尺度和长宽比的多样化物体，例如在不同迭代中分别正确识别出“人”和“船”。
• 消融实验表明，同时使用LSTM进行定位与分类（Ours-C）性能最佳，凸显了循环上下文建模在捕捉标签共现关系中的重要性。