[论文解读] Self-Attentive Document Interaction Networks for Permutation Equivariant Ranking

Rama Kumar Pasumarthi, Xuanhui Wang+2 more|arXiv (Cornell University)|Oct 21, 2019

Information Retrieval and Search Behavior参考文献 44被引用 10

一句话总结

本文提出了一种基于自注意力机制的文档交互网络，通过强制实现排列等变性，以建模学习排序中的跨文档交互，从而在无需训练-服务差异的情况下，有效且高效地对不同大小的文档集进行打分。该方法在Web30k、Gmail Search和Google Drive Quick Access数据集上均优于单变量模型和现有的多变量方法，MRR显著提升，且推理速度更快。

ABSTRACT

How to leverage cross-document interactions to improve ranking performance is an important topic in information retrieval (IR) research. However, this topic has not been well-studied in the learning-to-rank setting and most of the existing work still treats each document independently while scoring. The recent development of deep learning shows strength in modeling complex relationships across sequences and sets. It thus motivates us to study how to leverage cross-document interactions for learning-to-rank in the deep learning framework. In this paper, we formally define the permutation-equivariance requirement for a scoring function that captures cross-document interactions. We then propose a self-attention based document interaction network and show that it satisfies the permutation-equivariant requirement, and can generate scores for document sets of varying sizes. Our proposed methods can automatically learn to capture document interactions without any auxiliary information, and can scale across large document sets. We conduct experiments on three ranking datasets: the benchmark Web30k, a Gmail search, and a Google Drive Quick Access dataset. Experimental results show that our proposed methods are both more effective and efficient than baselines.

研究动机与目标

• 为建模学习排序中跨文档交互的打分函数形式化排列等变性要求。
• 解决现有多变量打分函数（如GSFs和RankProb）中存在的训练-服务差异与效率低下问题。
• 开发一种可扩展、高效且有效的文档交互建模方法，无需依赖辅助信息或固定顺序的输入。
• 证明自注意力机制天然满足排列等变性，并可集成到深度学习框架中用于排序任务。

提出的方法

• 提出一种基于自注意力机制的文档交互网络（attn-DIN），通过计算集合中所有文档之间的注意力得分，实现与输入顺序无关的交互建模。
• 通过确保模型输出随文档排列而可预测地变化，强制实现排列等变性，从而在不同输入顺序下保持一致性。
• 采用宽深架构，结合自注意力层与前馈网络，聚合文档表征并生成最终的相关性得分。
• 通过引入跨文档注意力池化，扩展单变量查询-文档打分函数，实现在无需从头训练的情况下实现交互感知打分。
• 采用归一化注意力机制，计算上下文感知的交互，聚焦于相关文档对，以提升相关性估计效果。
• 在端到端学习排序框架中应用该模型，使用列表损失函数，实现对交互信号与相关性信号的联合优化。

实验结果

研究问题

• RQ1 能否设计一种建模跨文档交互的打分函数，使其具备排列等变性，从而确保在不同文档顺序下行为一致？
• RQ2 如何有效利用自注意力机制建模文档交互，同时保持计算效率？
• RQ3 所提出的方法在排序效果与推理速度方面是否显著优于单变量模型及现有多变量方法（如GSFs和RankProb）？
• RQ4 在具有多样化特征类型与大规模候选集的真实数据集上，跨文档交互在多大程度上提升了排序性能？

主要发现

• 在Gmail数据集上，所提出的attn-DIN模型相较于最佳GSF模型，MRR实现了统计上显著的相对提升（+0.237 ± 0.206，p < 0.05）。
• 在Quick Access数据集上，所提方法显著优于单变量模型，而GSF模型未能超越单变量基线。
• 该模型在Web30k上的推理时间降低至每查询13 ms，远低于精确GSF推理的2,240 ms，展现出卓越的效率。
• 即使在大规模文档组（最多200个文档）下，该模型仍保持高性能，而GSF因复杂度增加与近似误差累积导致性能下降。
• 所提模型的参数量低于多变量GSF模型，表明性能提升源于更优的交互建模，而非模型容量。
• 该方法无需依赖预计算的相似度或聚类等辅助信息，即可有效捕捉文档交互，优于先前方法。