[论文解读] Sequential Attention GAN for Interactive Image Editing

Yu Cheng, Zhe Gan+3 more|arXiv (Cornell University)|Dec 20, 2018

Multimodal Machine Learning Applications参考文献 47被引用 7

一句话总结

本文提出SeqAttnGAN，一种用于交互式图像编辑的序列注意力生成对抗网络（GAN），支持多轮自然语言引导的图像精细化处理。通过整合神经状态追踪器、序列注意力机制以及基于DAMSM的正则化方法，该模型在编辑步骤中保持了视觉一致性与图文对齐，相较于SOTA方法在Zap-Seq与DeepFashion-Seq数据集上的图像质量、连贯性与相关性方面表现更优。

ABSTRACT

Most existing text-to-image synthesis tasks are static single-turn generation, based on pre-defined textual descriptions of images. To explore more practical and interactive real-life applications, we introduce a new task - Interactive Image Editing, where users can guide an agent to edit images via multi-turn textual commands on-the-fly. In each session, the agent takes a natural language description from the user as the input and modifies the image generated in the previous turn to a new design, following the user description. The main challenges in this sequential and interactive image generation task are two-fold: 1) contextual consistency between a generated image and the provided textual description; 2) step-by-step region-level modification to maintain visual consistency across the generated image sequence in each session. To address these challenges, we propose a novel Sequential Attention Generative Adversarial Net-work (SeqAttnGAN), which applies a neural state tracker to encode the previous image and the textual description in each turn of the sequence, and uses a GAN framework to generate a modified version of the image that is consistent with the preceding images and coherent with the description. To achieve better region-specific refinement, we also introduce a sequential attention mechanism into the model. To benchmark on the new task, we introduce two new datasets, Zap-Seq and DeepFashion-Seq, which contain multi-turn sessions with image-description sequences in the fashion domain. Experiments on both datasets show that the proposed SeqAttnGANmodel outperforms state-of-the-art approaches on the interactive image editing task across all evaluation metrics including visual quality, image sequence coherence, and text-image consistency.

研究动机与目标

• 为解决静态单轮文本到图像生成的局限性，提出新任务：通过多轮自然语言反馈实现交互式图像编辑。
• 建模跨编辑轮次的长距离视觉与语言依赖关系，确保图像序列在上下文与区域层面的一致性。
• 开发一种新型深度学习框架，联合优化序列设置下的图像生成、基于注意力的区域细化与图文对齐。
• 提供基准数据集——Zap-Seq与DeepFashion-Seq，包含用于交互式编辑的多轮图像-描述序列。

提出的方法

• 提出一种序列GAN框架，其中生成器根据当前文本指令以及先前图像与描述的历史记录对图像进行修改。
• 神经状态追踪器将每一轮的图像与文本描述编码为潜在状态，以在编辑序列中保留上下文信息。
• 序列注意力机制动态突出显示与当前自然语言指令中提及属性相对应的图像区域，实现细粒度编辑。
• 基于深度视觉-语义嵌入（DAMSM）的多模态正则化器在特征层面强制生成图像与文本描述之间的对齐。
• 模型在完整编辑会话上端到端训练，优化图像质量、一致性与图文相关性。
• 通过众包收集了两个新数据集——Zap-Seq与DeepFashion-Seq，分别包含8,734个与4,820个多轮编辑会话，支持自由形式的自然语言反馈。

实验结果

研究问题

• RQ1 深度生成模型能否在遵循自然语言指令的同时，保持多轮编辑中的视觉一致性？
• RQ2 序列注意力机制在基于动态文本反馈引导区域特定图像修改方面的有效性如何？
• RQ3 引入神经状态追踪器在多轮交互式图像编辑中对上下文连贯性的提升程度如何？
• RQ4 与SOTA方法相比，所提模型在图像质量、图文对齐与序列连贯性方面的表现如何？
• RQ5 该模型在处理涉及多个视觉属性与空间关系的复杂复合反馈短语时，泛化能力如何？

主要发现

• SeqAttnGAN在Zap-Seq与DeepFashion-Seq数据集的所有指标上均优于所有基线模型，包括Inception Score（IS）、Fréchet Inception Distance（FID）与结构相似性（SSIM）。
• 消融实验表明，序列注意力模块与DAMSM正则化器均显著提升性能，而移除任一模块的模型在视觉一致性与图文对齐方面表现较差。
• 模型在复杂反馈类型上表现优异，包括复合句与命题性短语，Zap-Seq上的FID得分为24.8，DeepFashion-Seq上为31.2。
• 定性分析显示，注意力机制能有效突出用户指定修改区域，如肩带、颜色与纹理。
• 用户研究表明，相较于仅使用关键词的输入方式，自然语言反馈在交互式图像编辑中更具有效性与直观性。
• 模型在多样化视觉属性与复杂编辑任务上泛化良好，例如在时尚设计中添加肩带、改变颜色或修改鞋跟类型。