[论文解读] Where Does the Performance Improvement Come From? -- A Reproducibility Concern about Image-Text Retrieval

Jun Rao, Fei Wang+5 more|arXiv (Cornell University)|Mar 8, 2022

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

本文研究了当前最先进图像-文本检索模型的可复现性，发现近期工作中的性能提升往往由超参数敏感性、数据采样策略和实现细节驱动，而非新颖的网络架构创新。通过在MS-COCO和Flickr30k数据集上系统性地复现11个模型，作者表明随机种子的变化可导致IR@1的性能波动高达10个百分点，且难负样本挖掘显著提升了模型的稳定性和性能，挑战了所宣称改进的鲁棒性。

ABSTRACT

This article aims to provide the information retrieval community with some reflections on recent advances in retrieval learning by analyzing the reproducibility of image-text retrieval models. Due to the increase of multimodal data over the last decade, image-text retrieval has steadily become a major research direction in the field of information retrieval. Numerous researchers train and evaluate image-text retrieval algorithms using benchmark datasets such as MS-COCO and Flickr30k. Research in the past has mostly focused on performance, with multiple state-of-the-art methodologies being suggested in a variety of ways. According to their assertions, these techniques provide improved modality interactions and hence more precise multimodal representations. In contrast to previous works, we focus on the reproducibility of the approaches and the examination of the elements that lead to improved performance by pretrained and nonpretrained models in retrieving images and text. To be more specific, we first examine the related reproducibility concerns and explain why our focus is on image-text retrieval tasks. Second, we systematically summarize the current paradigm of image-text retrieval models and the stated contributions of those approaches. Third, we analyze various aspects of the reproduction of pretrained and nonpretrained retrieval models. To complete this, we conducted ablation experiments and obtained some influencing factors that affect retrieval recall more than the improvement claimed in the original paper. Finally, we present some reflections and challenges that the retrieval community should consider in the future. Our source code is publicly available at https://github.com/WangFei-2019/Image-text-Retrieval.

研究动机与目标

• 调查近期最先进图像-文本检索模型的可复现性，特别是其宣称的性能提升。
• 识别关键的实现因素（如随机种子、数据采样和超参数调优）对检索性能的显著影响。
• 在受控且一致的实验设置下，评估微调（VLP）和非微调模型，以隔离性能提升的真实来源。
• 通过倡导更严格、透明的报告实践，挑战社区对挑选性结果和参数敏感配置的依赖。
• 通过硬负样本挖掘等稳定、数据驱动的改进方式，推动图像-文本检索领域实现更稳健和泛化性更强的研究。

提出的方法

• 作者使用官方代码和论文描述复现了5个微调模型和6个非微调模型，确保训练和评估协议的一致性。
• 每个模型在MS-COCO和Flickr30k数据集上进行了三次独立训练，采用不同的随机种子，报告平均性能以降低方差。
• 通过消融研究评估了硬负样本挖掘、初始化方式和数据增强对检索召回率的影响。
• 作者分析了模态交互机制（如协同注意力、前馈网络）的影响，并比较其对性能和模型稳定性的贡献。
• 采用多种指标（包括Recall@K、mAP和NDCG）评估模型，以提供超越标准基准的全面评估。
• 为每个非微调方法额外运行10次，生成小提琴图以可视化不同随机种子下的性能稳定性。

实验结果

研究问题

• RQ1 随机种子的变化在多大程度上影响图像-文本检索模型的报告性能？
• RQ2 数据采样策略（尤其是硬负样本挖掘）如何影响模型的稳定性和检索准确性？
• RQ3 实现细节（如数据增强、初始化方式）在性能提升中扮演何种角色，尤其是在与架构创新对比时？
• RQ4 为何一些非微调模型尽管架构相似，却表现出极高的性能变异性？
• RQ5 检索社区如何提升可复现性并减少对超参数调优的过度依赖？

主要发现

• 随机种子变化导致IR@1性能差异最高达近10个百分点，表明报告结果具有高度敏感性且可复现性低。
• 硬负样本挖掘显著提升了检索性能和模型稳定性，尤其在非微调模型中表现突出，表明其是性能提升的关键因素。
• 近期模型中许多宣称的性能提升源于实现层面的选择（如数据采样和超参数调优），而非新颖的网络架构设计。
• 在批量中使用最相似的负样本而非多样化的难负样本，限制了非微调模型中数据利用的有效性。
• 模型在更大规模数据集（如MS-COCO）和更具挑战性的5K测试集上表现更稳定，表明数据规模和难度影响可复现性。
• 作者观察到，如协同注意力等模态交互机制虽带来微小性能增益，但参数量翻倍，表明性能与效率之间存在权衡。