[论文解读] SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval

Thibault Formal, Carlos Lassance+2 more|arXiv (Cornell University)|Sep 21, 2021

Topic Modeling参考文献 25被引用 11

一句话总结

该论文提出SPLADE v2，一种增强的稀疏神经检索模型，通过最大池化、仅文档编码和知识蒸馏提升效果。其在BEIR基准上达到最先进性能，在TREC DL 2019上NDCG@10提升超过9%，并在零样本评估中优于稠密模型。

ABSTRACT

In neural Information Retrieval (IR), ongoing research is directed towards improving the first retriever in ranking pipelines. Learning dense embeddings to conduct retrieval using efficient approximate nearest neighbors methods has proven to work well. Meanwhile, there has been a growing interest in learning \emph{sparse} representations for documents and queries, that could inherit from the desirable properties of bag-of-words models such as the exact matching of terms and the efficiency of inverted indexes. Introduced recently, the SPLADE model provides highly sparse representations and competitive results with respect to state-of-the-art dense and sparse approaches. In this paper, we build on SPLADE and propose several significant improvements in terms of effectiveness and/or efficiency. More specifically, we modify the pooling mechanism, benchmark a model solely based on document expansion, and introduce models trained with distillation. We also report results on the BEIR benchmark. Overall, SPLADE is considerably improved with more than $9$\% gains on NDCG@10 on TREC DL 2019, leading to state-of-the-art results on the BEIR benchmark.

研究动机与目标

• 通过增强词级建模与扩展机制，解决稀疏检索中的词汇不匹配问题。
• 在保持与倒排索引系统兼容性的同时，提升稀疏神经检索模型的有效性。
• 通过训练仅文档编码器，探索高效推理的替代方案，实现完全离线预计算。
• 利用知识蒸馏在不增加在线推理成本的前提下提升性能。
• 在BEIR基准上实现最先进结果，并在MS MARCO和TREC DL 2019基准上实现具有竞争力的表现。

提出的方法

• 用最大池化替代原始SPLADE的池化机制，以更好地捕捉关键词表示并增强信号强度。
• 引入仅文档编码器（SPLADE-doc），在不进行查询编码的情况下生成稀疏文档表示，实现完全离线预计算。
• 应用知识蒸馏，将更强教师模型（如稠密模型或大型稀疏模型）的知识迁移至更小的学生模型，以在极低FLOPS开销下提升性能。
• 使用L1正则化训练模型，以强制实现稀疏性，并保持与高效倒排索引系统的兼容性。
• 采用两阶段训练策略：首先在大规模语料上预训练模型，然后在标注的信息检索数据集上使用对比学习目标进行微调。
• 优化超参数，如正则化强度（λ）和池化温度，以在稀疏性与性能之间取得平衡。

实验结果

研究问题

• RQ1 将SPLADE中原始池化机制替换为最大池化是否能显著提升检索效果？
• RQ2 仅文档编码器模型是否能在实现更快、完全可预计算检索的同时，达到具有竞争力的性能？
• RQ3 知识蒸馏在不降低推理效率的前提下，能在多大程度上提升稀疏神经检索模型的性能？
• RQ4 在BEIR等零样本和少样本评估基准上，SPLADE v2与最先进稠密和稀疏模型相比表现如何？
• RQ5 所提出模型在模型稀疏性（每篇文档的平均非零维度数）与检索效果之间存在何种权衡？

主要发现

• SPLADE- max在MS MARCO上相较原始SPLADE实现MRR@10和NDCG@10提升2个百分点，优于COIL和DeepImpact。
• SPLADE-doc在MS MARCO上仅使用每篇文档19个非零权重即达到29.6%的MRR@10，性能与doc2query-T5相当，但效率更高。
• DistilSPLADE- max在BEIR基准上实现最先进结果，在14个数据集中的11个上超越所有基线模型，零样本评估下平均NDCG@10达0.506。
• 在TREC DL 2019上，SPLADE v2相较原始SPLADE实现NDCG@10超过9%的提升，创下新最先进水平。
• 蒸馏模型即使在极低FLOPS下（如约0.3 FLOPS时MRR@10达0.35）仍保持高性能，展现出优异的效率-精度权衡。
• 最大池化的有效性在多个数据集上保持一致，SPLADE- max在效果与效率方面均表现更优（如图1所示）。