[论文解读] No Parameter Left Behind: How Distillation and Model Size Affect Zero-Shot Retrieval

Guilherme Moraes Rosa, Luiz Bonifacio+5 more|arXiv (Cornell University)|Jun 6, 2022

Topic Modeling被引用 6

一句话总结

本文研究了模型规模与知识蒸馏对零样本检索性能的影响，表明在分布外设置下，更大的非蒸馏重排序模型显著优于蒸馏模型和稠密模型。关键发现是，增加参数量可提升泛化能力，其中30亿参数的monoT5-3B重排序模型在18个BEIR数据集中的12个上达到最先进性能，超越了蒸馏模型和更大的稠密检索器。

ABSTRACT

Recent work has shown that small distilled language models are strong competitors to models that are orders of magnitude larger and slower in a wide range of information retrieval tasks. This has made distilled and dense models, due to latency constraints, the go-to choice for deployment in real-world retrieval applications. In this work, we question this practice by showing that the number of parameters and early query-document interaction play a significant role in the generalization ability of retrieval models. Our experiments show that increasing model size results in marginal gains on in-domain test sets, but much larger gains in new domains never seen during fine-tuning. Furthermore, we show that rerankers largely outperform dense ones of similar size in several tasks. Our largest reranker reaches the state of the art in 12 of the 18 datasets of the Benchmark-IR (BEIR) and surpasses the previous state of the art by 3 average points. Finally, we confirm that in-domain effectiveness is not a good indicator of zero-shot effectiveness. Code is available at https://github.com/guilhermemr04/scaling-zero-shot-retrieval.git

研究动机与目标

• 评估在域内有效性是否能可靠预测神经检索模型在零样本设置下的性能。
• 探究模型规模与知识蒸馏在多样化领域中零样本泛化能力中的作用。
• 在不同计算约束下，比较重排序模型与稠密检索模型的有效性。
• 确定蒸馏模型在部署于未见领域时是否能保持强性能。

提出的方法

• 在MS MARCO数据集上微调蒸馏模型（如MiniLM）和更大的非蒸馏重排序模型（如monoT5-3B）以进行域内评估。
• 在来自BEIR基准的18个多样化数据集（包括生物医学、金融和网络领域）上对所有模型进行零样本评估。
• 采用两阶段检索流程：BM25检索1000个候选文档，随后由神经模型进行重排序。
• 使用nDCG@10评估有效性，并在A100 GPU上测量每个查询的推理延迟以评估效率。
• 使用相同的主干架构（如T5）训练并评估重排序模型与稠密检索器，以隔离架构与规模的影响。
• 分析重排序模型中早期查询-文档交互与稠密模型中固定向量相似度的影响。

实验结果

研究问题

• RQ1 在MS MARCO上的域内性能是否能可靠预测在分布外数据集上的零样本有效性？
• RQ2 与蒸馏模型相比，增加模型规模如何影响神经重排序模型的零样本泛化能力？
• RQ3 参数量更多的重排序模型是否在零样本设置下始终优于同规模的稠密检索器？
• RQ4 知识蒸馏与模型规模对零样本检索性能的相对影响是什么？
• RQ5 为何稠密检索器在新领域上的泛化能力远差于重排序模型？

主要发现

• 30亿参数的monoT5-3B重排序模型在18个BEIR数据集中的12个上达到最先进性能，平均超越此前最先进水平3个百分点。
• 在FiQA金融数据集上，monoT5-3B的nDCG@10性能比MiniLM高出近16个百分点，尽管MiniLM参数量仅为其1/100。
• 尽管MiniLM在MS MARCO上与更大模型（monoT5-3B）表现相当，但在零样本数据集上显著落后。
• 最大的重排序模型（monoT5-3B）在BEIR上的nDCG@10达到0.5321，优于更大的稠密检索器GTR（58亿参数）和ColBERTv2。
• 尽管参数量更高，monoT5-3B实现了接近竞争性的延迟（14.63秒/查询），相比MiniLM（0.64秒/查询），表明大模型在实践中也可高效运行。
• 本研究证实，稠密检索器因固定768维向量表示，其性能随规模增加而趋于饱和，而重排序模型则持续提升。