[论文解读] VisualSparta: Sparse Transformer Fragment-level Matching for Large-scale Text-to-Image Search

Xiaopeng Lu, Tiancheng Zhao+1 more|arXiv (Cornell University)|Jan 1, 2021

Multimodal Machine Learning Applications参考文献 11被引用 6

一句话总结

VisualSparta 提出了一种基于稀疏 Transformer 的模型，用于大规模文本到图像的检索，通过利用片段级匹配和高效的倒排索引实现，在 100 万张图像数据集上相比标准向量搜索实现了超过 391 倍的速度提升，同时达到最先进水平的准确率。该方法在 MSCOCO 和 Flickr30K 数据集上优于以往可扩展的检索方法，并实现了大规模数据集上的实时检索。

ABSTRACT

Text-to-image retrieval is an essential task in multi-modal information retrieval, i.e. retrieving relevant images from a large and unlabelled image dataset given textual queries. In this paper, we propose VisualSparta, a novel text-to-image retrieval model that shows substantial improvement over existing models on both accuracy and efficiency. We show that VisualSparta is capable of outperforming all previous scalable methods in MSCOCO and Flickr30K. It also shows substantial retrieving speed advantages, i.e. for an index with 1 million images, VisualSparta gets over 391x speed up compared to standard vector search. Experiments show that this speed advantage even gets bigger for larger datasets because VisualSparta can be efficiently implemented as an inverted index. To the best of our knowledge, VisualSparta is the first transformer-based text-to-image retrieval model that can achieve real-time searching for very large dataset, with significant accuracy improvement compared to previous state-of-the-art methods.

研究动机与目标

• 解决在未标注图像数据集中高效且准确的大规模文本到图像检索挑战。
• 通过实现实时检索，克服大规模数据集中向量搜索带来的计算瓶颈。
• 在保持高效率的同时，提升检索准确率，优于现有可扩展方法。
• 提出一种专为文本和图像嵌入之间片段级匹配而设计的新型稀疏注意力机制。
• 实现基于 Transformer 的模型在工业规模图像集合中实时搜索的实用化部署。

提出的方法

• 采用稀疏 Transformer 架构，专注于匹配文本查询与图像特征之间的语义片段，而非完整嵌入。
• 使用片段级注意力识别并对齐相关视觉与文本子组件，提升检索精度。
• 设计模型以支持高效的倒排索引构建，实现在大规模数据下的快速查找与检索。
• 利用注意力模式中的稀疏性，在保持表征能力的同时降低计算成本。
• 优化检索流水线，支持在包含超过 100 万张图像的数据集上实现实时推理。
• 在对比学习目标下端到端训练模型，以在片段级别对齐文本与图像表征。

实验结果

研究问题

• RQ1 基于稀疏 Transformer 的模型是否能在大规模文本到图像检索中同时实现高准确率与实时推理速度？
• RQ2 与完整嵌入匹配相比，片段级匹配在检索精度和效率方面表现如何？
• RQ3 稀疏性与倒排索引在大规模图像数据集中能在多大程度上降低搜索延迟？
• RQ4 基于 Transformer 的模型是否能在 MSCOCO 和 Flickr30K 等标准基准上，同时超越以往最先进方法在准确率与速度上的表现？
• RQ5 当数据集规模超过 100 万张图像时，所提出方法的可扩展性如何？

主要发现

• VisualSparta 在 MSCOCO 和 Flickr30K 基准测试中均达到最先进性能，优于所有以往可扩展方法的检索准确率。
• 在 100 万张图像的索引中，VisualSparta 相比标准向量搜索实现了超过 391 倍的速度提升，且在更大数据集上优势进一步扩大。
• 由于其高效的倒排索引实现，该模型能够在极大规模数据集中实现实时文本到图像检索。
• 使用片段级匹配显著提升了文本查询与相关图像区域之间的对齐效果。
• 该模型在不同数据集规模下均保持性能增益，展现出强大的可扩展性。
• VisualSparta 是首个在大规模数据集中同时实现高准确率与实时推理的基于 Transformer 的文本到图像检索模型。