[论文解读] RTIC: Residual Learning for Text and Image Composition using Graph Convolutional Network

Minchul Shin, Yoonjae Cho+2 more|arXiv (Cornell University)|Apr 7, 2021

Multimodal Machine Learning Applications参考文献 39被引用 23

一句话总结

本文提出RTIC，一种新颖的图像-文本组合模型，通过跳跃连接实现残差学习，有效编码在文本条件下的源图像与目标图像之间的差异。该方法进一步引入一种即插即用的基于图卷积网络（GCN）的正则化技术，提升泛化能力，在无需集成技巧或领域特定调优的情况下，在基准测试中实现最先进性能，且通过统一且最优的训练环境得到验证。

ABSTRACT

In this paper, we study the compositional learning of images and texts for image retrieval. The query is given in the form of an image and text that describes the desired modifications to the image; the goal is to retrieve the target image that satisfies the given modifications and resembles the query by composing information in both the text and image modalities. To remedy this, we propose a novel architecture designed for the image-text composition task and show that the proposed structure can effectively encode the differences between the source and target images conditioned on the text. Furthermore, we introduce a new joint training technique based on the graph convolutional network that is generally applicable for any existing composition methods in a plug-and-play manner. We found that the proposed technique consistently improves performance and achieves state-of-the-art scores on various benchmarks. To avoid misleading experimental results caused by trivial training hyper-parameters, we reproduce all individual baselines and train models with a unified training environment. We expect this approach to suppress undesirable effects from irrelevant components and emphasize the image-text composition module's ability. Also, we achieve the state-of-the-art score without restricting the training environment, which implies the superiority of our method considering the gains from hyper-parameter tuning. The code, including all the baseline methods, are released https://github.com/nashory/rtic-gcn-pytorch.

研究动机与目标

• 开发一种更高效且可解释的图像-文本组合模型，直接学习源图像与目标图像之间的残差差异。
• 通过引入基于图卷积网络（GCN）的正则化技术，缓解图像-文本组合中的数据稀缺问题，提升泛化能力。
• 通过在统一、标准化的训练环境中训练所有模型，实现组合方法的公平与客观比较。
• 证明性能提升源于组合模块本身，而非超参数调优或训练流水线的偏差。
• 证明所提出的GCN流可作为通用即插即用正则化器，适用于任何现有组合方法。

提出的方法

• RTIC引入一种残差学习架构，通过跳跃连接在潜在空间中显式建模源图像与目标图像之间的差异。
• 该模型使用专用的误差编码模块，基于文本条件解耦并仅表示期望的视觉修改。
• 提出一种新颖的GCN流作为即插即用正则化器，利用图像-文本对之间的相似性图，提升训练稳定性和泛化能力。
• 图结构通过图像-文本对之间的特征相似性构建，节点代表图像-文本对，边编码其语义与视觉相似性。
• 与GCN流联合训练可实现半监督学习，通过在相似图像-文本对之间传播信息，提升在有限数据上的泛化能力。
• 该方法设计为与任何现有组合模块兼容，可无缝集成至主模型而无需修改其架构。

实验结果

研究问题

• RQ1 通过跳跃连接实现的残差学习是否能有效建模图像-文本组合中源图像与目标图像之间的差异？
• RQ2 基于图卷积网络的正则化技术是否能以即插即用方式提升现有图像-文本组合模型的性能？
• RQ3 所提方法是否在无需依赖集成方法或复杂损失组合的情况下，实现跨基准测试的最先进性能？
• RQ4 超参数与训练流水线组件在多大程度上影响性能？统一的训练环境是否能确保方法间的公平比较？
• RQ5 GCN流中使用的图的质量在多大程度上影响正则化技术的性能增益？

主要发现

• 在超参数优化后，RTIC在Fashion-IQ基准上实现单模型38.22的性能，优于近期更复杂的方法。
• GCN流在所有基线模型上均持续提升性能：TIRG提升+2.21%，MRN提升+1.56%，ComposeAE提升+33.97%（使用RTIC构建的图）。
• 所提GCN流在推理阶段无需额外GPU显存，尽管训练阶段显存使用增加，但依然适用于实际部署。
• 消融实验表明，仅通过超参数调优即可实现最高13%的性能提升（从33.24提升至38.22），凸显标准化训练对公平比较的重要性。
• t-SNE可视化证实，误差编码模块成功解耦颜色与图案等属性，在特定文本查询条件下形成清晰聚类。
• 该方法在不使用集成技术或多阶段特征聚合的情况下实现最先进结果，证明了核心架构与正则化技术的有效性。