[论文解读] Towards Coherent Visual Storytelling with Ordered Image Attention

Tom Braude, Idan Schwartz+2 more|arXiv (Cornell University)|Aug 4, 2021

Multimodal Machine Learning Applications参考文献 43被引用 4

一句话总结

本文提出有序图像注意力（OIA）用于视觉叙事，通过有序感知的表征聚合来建模跨图像交互，以提升叙事连贯性。通过将OIA与图像-句子注意力（ISA）及自适应先验结合，该方法在VIST数据集上将METEOR指标提升1%，并在人类评估中展现出更优的叙事连贯性、聚焦性与图像定位能力。

ABSTRACT

We address the problem of visual storytelling, i.e., generating a story for a given sequence of images. While each sentence of the story should describe a corresponding image, a coherent story also needs to be consistent and relate to both future and past images. To achieve this we develop ordered image attention (OIA). OIA models interactions between the sentence-corresponding image and important regions in other images of the sequence. To highlight the important objects, a message-passing-like algorithm collects representations of those objects in an order-aware manner. To generate the story's sentences, we then highlight important image attention vectors with an Image-Sentence Attention (ISA). Further, to alleviate common linguistic mistakes like repetitiveness, we introduce an adaptive prior. The obtained results improve the METEOR score on the VIST dataset by 1%. In addition, an extensive human study verifies coherency improvements and shows that OIA and ISA generated stories are more focused, shareable, and image-grounded.

研究动机与目标

• 通过建模图像间超越即时句-图对齐的依赖关系，提升视觉叙事中的叙事连贯性。
• 通过自适应先验机制解决语言层面的重复性问题。
• 通过有序感知的方式聚焦序列中显著的图像区域，改进注意力机制。
• 通过改进的注意力机制与语言建模，生成更具图像定位性与可分享性的叙事。

提出的方法

• OIA使用类似消息传递的算法，在序列中收集并传播重要物体的表征，同时保留时间顺序。
• 图像-句子注意力（ISA）为每个句子突出显示相关图像区域，确保与当前及上下文相关的图像对齐。
• 引入自适应先验，通过动态调整对低频或更富信息量的标记的关注，减少重复性语言。
• 将OIA与ISA整合进序列到序列的生成框架中，实现上下文感知的叙事生成。
• 在VIST数据集上端到端训练该架构，结合自动指标与人类评估以衡量连贯性与定位性。

实验结果

研究问题

• RQ1 建模跨图像依赖关系是否能提升视觉叙事中的叙事连贯性？
• RQ2 有序感知的表征聚合如何影响生成叙事的质量与聚焦性？
• RQ3 自适应先验在多大程度上减少了叙事生成中的语言重复？
• RQ4 OIA与ISA相较于标准注意力机制，在生成图像定位叙事方面表现如何？

主要发现

• 与基线方法相比，该模型在VIST数据集上的METEOR得分提升了1%。
• 人类评估确认，使用OIA与ISA生成的叙事更具连贯性、聚焦性与图像定位性。
• 人类评估认为，该方法生成的叙事比基线模型更具可分享性。
• 自适应先验有效减少了重复性语言，提升了叙事的多样性与自然度。
• OIA实现了对图像间长距离依赖关系的更好建模，增强了叙事一致性。