[论文解读] Turbo Learning for Captionbot and Drawingbot

Qiuyuan Huang, Pengchuan Zhang+2 more|arXiv (Cornell University)|May 21, 2018

Multimodal Machine Learning Applications参考文献 37被引用 14

一句话总结

本文提出了一种新颖的涡轮学习框架，通过构建闭环反馈系统，联合训练图像字幕模型（CaptionBot）和文本到图像生成模型（DrawingBot），利用其双重特性，借助一种新型的循环一致性损失提升性能。该方法在半监督学习下实现了显著提升——BLEU-4最高提升达77%，通过实现无标签数据的自监督伪标签化，增强了两个模型的泛化能力和鲁棒性。

ABSTRACT

We study in this paper the problems of both image captioning and text-to-image generation, and present a novel turbo learning approach to jointly training an image-to-text generator (a.k.a. CaptionBot) and a text-to-image generator (a.k.a. DrawingBot). The key idea behind the joint training is that image-to-text generation and text-to-image generation as dual problems can form a closed loop to provide informative feedback to each other. Based on such feedback, we introduce a new loss metric by comparing the original input with the output produced by the closed loop. In addition to the old loss metrics used in CaptionBot and DrawingBot, this extra loss metric makes the jointly trained CaptionBot and DrawingBot better than the separately trained CaptionBot and DrawingBot. Furthermore, the turbo-learning approach enables semi-supervised learning since the closed loop can provide pseudo-labels for unlabeled samples. Experimental results on the COCO dataset demonstrate that the proposed turbo learning can significantly improve the performance of both CaptionBot and DrawingBot by a large margin.

研究动机与目标

• 为解决尽管图像字幕生成与文本到图像生成模型具有内在对偶性，但单独训练时仍存在局限性的问题。
• 通过闭环训练机制实现CaptionBot与DrawingBot之间的相互反馈，提升模型性能。
• 通过反馈回路生成可靠伪标签，实现无标签数据的半监督学习。
• 构建统一的训练框架，使两个模型的性能超越其独立训练时的表现。

提出的方法

• 构建闭环系统，使CaptionBot从图像生成字幕，DrawingBot再从这些字幕生成图像，形成反馈循环。
• 引入一种新型的循环一致性损失，通过KL散度或CIDEr分数比较输入与经过一次完整循环后的输出，以衡量一致性。
• 使用混合损失函数，结合标准监督损失（如交叉熵或CIDEr）与循环损失，并通过可学习权重β₁平衡两者。
• 在CaptionBot作为主模型与DrawingBot作为对偶模型之间交替进行训练步骤，通过随机梯度下降同时更新两个网络。
• 在监督与半监督两种设置下应用该框架，利用无标签数据通过循环生成伪标签。
• 引入对抗生成网络损失或真实标签监督等约束，防止模型学习到平凡的身份映射，确保输出的逼真性与语义合理性。

实验结果

研究问题

• RQ1 通过闭环反馈机制联合训练图像字幕与文本到图像生成模型，是否能超越单独训练的性能表现？
• RQ2 基于循环输入-输出比较的循环一致性损失，对模型泛化能力与鲁棒性有何影响？
• RQ3 在半监督学习设置下，该闭环系统在多大程度上能为无标签数据生成可靠的伪标签？
• RQ4 图像到文本与文本到图像生成之间的对偶性，是否相比孤立训练能实现更高效或更准确的学习？

主要发现

• 在监督学习设置下，涡轮训练的CaptionBot相比基线模型在BLEU-4上实现了13%的相对提升。
• 在相同设置下，DrawingBot的Inception Score提升了4.3%，表明其图像质量得到增强。
• 在仅使用1,000个标注样本的半监督学习设置下，CaptionBot在BLEU-4上提升了77%，凸显了通过循环实现伪标签化的有效性。
• 涡轮学习框架在所有指标上均显著优于基线模型：BLEU-4、CIDEr-D、ROUGE-L、METEOR和SPICE，其中CIDEr-D最高提升达40%。
• 循环一致性损失有效防止了模型学习到平凡的身份映射，确保了反馈回路中的信息有意义。
• 该方法不仅适用于COCO数据集，还可推广至其他双模态任务，如语音到文本转换与问题生成。