[论文解读] Text-to-Image-to-Text Translation using Cycle Consistent Adversarial Networks

Satya Krishna Gorti, Jeremy Ma|arXiv (Cornell University)|Aug 14, 2018

Generative Adversarial Networks and Image Synthesis参考文献 11被引用 23

一句话总结

该论文提出了一种基于生成对抗网络（GANs）的循环一致性文本到图像再到文本的翻译框架，以提升图像保真度和与文本描述的一致性。通过在生成图像上训练描述网络，并最小化真实描述与生成描述之间的差异，该方法减少了模式崩溃现象，提升了语义准确性，实现了0.802的色彩相关性得分，并在保持循环一致性的同时提升了Inception分数。

ABSTRACT

Text-to-Image translation has been an active area of research in the recent past. The ability for a network to learn the meaning of a sentence and generate an accurate image that depicts the sentence shows ability of the model to think more like humans. Popular methods on text to image translation make use of Generative Adversarial Networks (GANs) to generate high quality images based on text input, but the generated images don't always reflect the meaning of the sentence given to the model as input. We address this issue by using a captioning network to caption on generated images and exploit the distance between ground truth captions and generated captions to improve the network further. We show extensive comparisons between our method and existing methods.

研究动机与目标

• 解决文本到图像翻译中生成的图像未能准确反映输入文本描述的问题。
• 通过引入循环一致性的训练信号，缓解基于GAN的图像生成中的模式崩溃问题。
• 通过利用图像描述作为反馈机制，提升生成图像与文本之间的一致性。
• 评估循环一致性在提升图像质量和语义相关性方面的有效性。

提出的方法

• 该框架采用两阶段GAN架构：第一阶段从文本嵌入生成64x64图像，第二阶段将图像细化为128x128的高分辨率图像。
• 单独训练一个图像描述GAN，从生成图像中生成描述，使用Skip-Thought向量进行文本嵌入。
• 通过最小化真实描述与模型自身图像生成的描述之间的距离，实现循环一致性。
• 系统通过循环一致性损失端到端训练图像生成和描述网络，提升一致性与多样性。
• 该方法采用Adam优化器（β₁=0.5，β₂=0.999）进行对抗性训练，使用100维高斯噪声向量和2400维的Skip-Thought嵌入。
• 在消融研究中，冻结描述网络的权重，以隔离循环损失对图像生成的影响。

实验结果

研究问题

• RQ1 通过图像描述实现的循环一致性能否提升生成图像与输入文本描述之间的语义一致性？
• RQ2 在文本到图像GAN中，强制执行循环一致性是否能减少模式崩溃？
• RQ3 描述反馈在多大程度上提升了图像质量和色彩准确性？
• RQ4 循环一致性的引入如何影响Inception分数和色彩相关性等定量指标？

主要发现

• 引入循环一致性的模型色彩相关性得分为0.802，而无循环损失的模型仅为0.259，表明色彩准确性显著提升。
• 引入循环一致性后，Inception分数从2.985降至2.545，表明在多样性与质量之间存在权衡，但定性结果表明生成图像与输入文本的对齐性更好。
• 循环一致性减少了模式崩溃，生成的图像比无循环损失的基线模型更具多样性。
• 在推理过程中冻结描述网络权重的实验表明，即使描述网络固定，循环损失仍能提升图像生成质量。
• 定性结果表明，循环一致训练生成的图像更准确地匹配输入文本的语义内容，如花瓣颜色和形状。
• 该方法成功实现了文本到图像再到文本系统的端到端训练，证明了将描述作为反馈信号的可行性。