[论文解读] Multi-Vector Retrieval as Sparse Alignment

Yujie Qian, Jinhyuk Lee+6 more|arXiv (Cornell University)|Nov 2, 2022

Topic Modeling被引用 4

一句话总结

ALIGNER 是一种新颖的多向量检索模型，将文档检索建模为查询与文档词元之间的稀疏词元级对齐，通过可学习的成对对齐和熵正则化的单重显著性，实现任务自适应的稀疏性与高效剪枝。其在 BEIR 上实现了 SOTA 的零样本性能（nDCG@10 为 51.1），并实现高达 15.7 分的少样本微调增益，同时将文档词元存储量减少 80% 且性能损失极小。

ABSTRACT

Multi-vector retrieval models improve over single-vector dual encoders on many information retrieval tasks. In this paper, we cast the multi-vector retrieval problem as sparse alignment between query and document tokens. We propose AligneR, a novel multi-vector retrieval model that learns sparsified pairwise alignments between query and document tokens (e.g. `dog' vs. `puppy') and per-token unary saliences reflecting their relative importance for retrieval. We show that controlling the sparsity of pairwise token alignments often brings significant performance gains. While most factoid questions focusing on a specific part of a document require a smaller number of alignments, others requiring a broader understanding of a document favor a larger number of alignments. Unary saliences, on the other hand, decide whether a token ever needs to be aligned with others for retrieval (e.g. `kind' from `kind of currency is used in new zealand}'). With sparsified unary saliences, we are able to prune a large number of query and document token vectors and improve the efficiency of multi-vector retrieval. We learn the sparse unary saliences with entropy-regularized linear programming, which outperforms other methods to achieve sparsity. In a zero-shot setting, AligneR scores 51.1 points nDCG@10, achieving a new retriever-only state-of-the-art on 13 tasks in the BEIR benchmark. In addition, adapting pairwise alignments with a few examples (<= 8) further improves the performance up to 15.7 points nDCG@10 for argument retrieval tasks. The unary saliences of AligneR helps us to keep only 20% of the document token representations with minimal performance loss. We further show that our model often produces interpretable alignments and significantly improves its performance when initialized from larger language models.

研究动机与目标

• 为解决现有多向量检索模型效率低下且性能不佳的问题，这些模型依赖密集的非稀疏对齐，且缺乏高效的剪枝机制。
• 在词元级对齐中实现任务特定的稀疏性——针对事实类问题偏好更少的对齐，而针对如论点检索等广覆盖任务则偏好更多对齐。
• 开发一种端到端可微的方法，用于学习稀疏的单重显著性，以识别哪些查询和文档词元对检索相关，从而实现高效剪枝。
• 通过基于显著性的剪枝减少存储和计算成本，提升检索效率，同时不牺牲性能。
• 证明稀疏对齐具有可解释性，并且从大语言模型进行初始化可进一步提升性能。

提出的方法

• 将多向量检索建模为查询与文档词元之间的稀疏对齐，其中每个对齐表示上下文感知词元向量之间的成对匹配。
• 引入通过可微机制稀疏学习的成对对齐，允许灵活控制每个查询词元的对齐数量。
• 提出单重显著性，以决定是否应将某个词元进行对齐，从而有效屏蔽对齐矩阵中的整行或整列。
• 采用熵正则化的线性规划方法，端到端学习稀疏的单重显著性，其在稀疏性和性能上优于 L1 或门控机制。
• 通过在每个任务中使用 ≤8 个样本微调成对对齐，实现强大的零样本推理性能和少样本适应能力。
• 利用显著性分数剪枝高达 80% 的文档词元向量和 50% 的查询词元向量，nDCG@10 下降不足 1 分。

实验结果

研究问题

• RQ1 稀疏、任务自适应的词元级对齐是否能提升多样化信息检索任务中的检索性能？
• RQ2 可学习的单重显著性是否能有效识别并剪枝无关的查询和文档词元，而不会导致性能下降？
• RQ3 控制成对对齐的稀疏性是否能提升在不同检索意图（如事实类 vs. 论点检索）下的泛化能力？
• RQ4 ALIGNER 是否能在无需对比预训练或蒸馏的情况下实现 SOTA 性能？
• RQ5 稀疏对齐在多大程度上提升了可解释性，并增强了与大语言模型的兼容性？

主要发现

• ALIGNER 在 BEIR 基准的零样本设置下实现了 51.1 nDCG@10 的新 SOTA，优于此前仅使用检索器的模型，且无需对比预训练或蒸馏。
• 仅使用 1–8 个微调样本，ALIGNER 在论点检索任务上的性能最高提升 15.7 分 nDCG@10，展现出强大的少样本适应能力。
• 通过单重显著性剪枝，文档词元存储量减少 80%，查询词元使用量减少 50%，nDCG@10 下降不足 1 分。
• 该模型生成的对齐具有可解释性，高显著性词元常与语义相关术语匹配（例如，'heart' 与文档中的 'heart' 对齐）。
• 从更大的语言模型初始化 ALIGNER 显著提升了性能，表明其与预训练语言模型先验具有强兼容性。
• 熵正则化的线性规划方法在显著性学习上优于 L1 正则化和 ReLU 门控机制，在稀疏性和检索准确率上均表现更优。