[论文解读] TRACE: Transform Aggregate and Compose Visiolinguistic Representations for Image Search with Text Feedback

Surgan Jandial, Ayush Chopra+4 more|arXiv (Cornell University)|Sep 3, 2020

Multimodal Machine Learning Applications被引用 10

一句话总结

TRACE 提出了一种新颖的分层特征聚合架构，通过融合参考图像和自然语言反馈的视觉语言表征，以实现细粒度文本约束下的图像搜索优化。其在 FashionIQ、Shoes 和 Birds-to-Words 数据集上均达到最先进性能，分别将 R@K 提升了至少 5.7%、3% 和 5%。

ABSTRACT

The ability to efficiently search for images over an indexed database is the cornerstone for several user experiences. Incorporating user feedback, through multi-modal inputs provide flexible and interaction to serve fine-grained specificity in requirements. We specifically focus on text feedback, through descriptive natural language queries. Given a reference image and textual user feedback, our goal is to retrieve images that satisfy constraints specified by both of these input modalities. The task is challenging as it requires understanding the textual semantics from the text feedback and then applying these changes to the visual representation. To address these challenges, we propose a novel architecture TRACE which contains a hierarchical feature aggregation module to learn the composite visio-linguistic representations. TRACE achieves the SOTA performance on 3 benchmark datasets: FashionIQ, Shoes, and Birds-to-Words, with an average improvement of at least ~5.7%, ~3%, and ~5% respectively in R@K metric. Our extensive experiments and ablation studies show that TRACE consistently outperforms the existing techniques by significant margins both quantitatively and qualitatively.

研究动机与目标

• 通过整合用户提供的文本反馈与参考图像，实现细粒度检索的图像搜索性能提升。
• 解决在多模态设置中，文本语义与视觉表征变化之间对齐的挑战。
• 开发一种统一架构，学习复合视觉语言表征以提升检索准确性。
• 在真实用户反馈场景下，优于现有方法在标准基准测试中的表现。

提出的方法

• TRACE 采用分层特征聚合模块，逐步融合来自参考图像的视觉特征与用户反馈的文本嵌入。
• 该架构通过在多个抽象层次上关注两种模态，学习复合表征。
• 其利用对比学习在训练过程中将复合表征与相关图像特征对齐。
• 模型在配对的图像-文本反馈数据上进行端到端训练，以优化检索性能。
• 该框架通过泛化到未见的视觉与文本约束组合，支持零样本适应。

实验结果

研究问题

• RQ1 如何有效组合视觉与文本模态，以在图像搜索中表征用户意图？
• RQ2 分层特征聚合在多模态表征学习中对图像检索的提升程度如何？
• RQ3 该模型是否能在无需微调的情况下泛化到未见的图像与文本反馈组合？
• RQ4 在多样化基准测试中，该架构与现有方法相比，检索准确性如何？

主要发现

• 与先前方法相比，TRACE 在 FashionIQ 基准测试中将 R@K 的平均性能提升了 5.7%。
• 在 Shoes 数据集上，该模型相比现有最先进方法，R@K 提升了至少 3%。
• 在 Birds-to-Words 数据集上，TRACE 在 R@K 上实现了平均 5% 的提升，展现出强大的泛化能力。
• 消融实验确认，分层特征聚合模块对性能提升至关重要。
• 定性结果表明，TRACE 准确捕捉了文本反馈所暗示的细微视觉变化。