[论文解读] Weakly Supervised Attention Learning for Textual Phrases Grounding

Zhiyuan Fang, Shu Kong+2 more|arXiv (Cornell University)|May 1, 2018

Multimodal Machine Learning Applications参考文献 11被引用 7

一句话总结

该论文提出了一种弱监督注意力学习方法，通过正则化双线性池化和端到端训练，实现使用图像级或短语级标签对图像中的文本短语进行定位，无需像素级标注。在合成的多-MNIST数据集上，该方法实现了最高67.07%的IoU，证明了其在低资源设置下的鲁棒性与泛化能力。

ABSTRACT

Grounding textual phrases in visual content is a meaningful yet challenging problem with various potential applications such as image-text inference or text-driven multimedia interaction. Most of the current existing methods adopt the supervised learning mechanism which requires ground-truth at pixel level during training. However, fine-grained level ground-truth annotation is quite time-consuming and severely narrows the scope for more general applications. In this extended abstract, we explore methods to localize flexibly image regions from the top-down signal (in a form of one-hot label or natural languages) with a weakly supervised attention learning mechanism. In our model, two types of modules are utilized: a backbone module for visual feature capturing, and an attentive module generating maps based on regularized bilinear pooling. We construct the model in an end-to-end fashion which is trained by encouraging the spatial attentive map to shift and focus on the region that consists of the best matched visual features with the top-down signal. We demonstrate the preliminary yet promising results on a testbed that is synthesized with multi-label MNIST data.

研究动机与目标

• 解决监督视觉定位中需要昂贵像素级标注的挑战。
• 仅使用图像级或短语级标签，实现灵活的弱监督图像文本短语定位。
• 提升模型在细粒度标注有限的领域中的泛化能力和可迁移性。
• 开发一种端到端可训练的架构，联合优化注意力图与特征表示。
• 在合成的多标签MNIST数据集上评估该方法，以证明其可行性和鲁棒性。

提出的方法

• 使用预训练的ResNet-18主干网络提取图像的全局视觉特征。
• 应用基于双线性池化的注意力模块，从视觉和文本特征生成空间注意力图。
• 将文本嵌入扩展至与视觉特征维度一致，并通过多模态双线性池化（MCB）进行融合。
• 采用联合损失函数进行端到端训练：交叉熵损失用于分类，特征学习损失用于增强类间分离性和类内紧凑性。
• 对注意力图施加L2正则化，以鼓励稀疏性并聚焦于显著区域。
• 采用弱监督信号，使模型即使在无边界框标注的情况下，也能学习关注与输入短语匹配的区域。

实验结果

研究问题

• RQ1 弱监督方法是否能在无需像素级标注的情况下实现准确的文本短语定位？
• RQ2 正则化双线性池化在生成定位相关图像区域的注意力图方面效果如何？
• RQ3 微调预训练主干网络是否相比从零开始训练能提升收敛速度与性能？
• RQ4 当输入短语在图像中不存在时，模型的泛化能力如何？
• RQ5 特征学习损失在多大程度上提升了视觉表征的判别能力？

主要发现

• 在微调主干网络时，该模型在多-MNIST数据集上实现了67.07%的平均IoU，表明其具有强大的定位精度。
• 在IoU阈值为0.5时，该模型达到71.53%的mAP，证明在弱监督下文本短语定位性能优异。
• 微调预训练主干网络可加快收敛速度，尽管从零开始训练的最终性能也相近。
• 当输入短语在图像中不存在时，注意力图几乎保持空白，证实了模型抑制假阳性的能力。
• 如图3中的多查询结果所示，该模型能成功定位单张图像中的多个短语。
• 特征学习损失有助于提升类间分离性和类内紧凑性，从而增强表征质量。