[论文解读] TU Wien @ TREC Deep Learning '19 -- Simple Contextualization for Re-ranking

Sebastian Hofstätter, Markus Zlabinger+1 more|arXiv (Cornell University)|Dec 3, 2019

Topic Modeling参考文献 11被引用 2

一句话总结

本文提出了TK（Transformer-Kernel）模型，一种用于即时搜索的轻量化神经重排序方法，通过使用最少的Transformer层对查询和文档嵌入进行上下文编码，并结合文档长度增强的核池化机制以提升可解释性。该模型在TREC深度学习2019赛道的段落重排序任务中取得了0.420 MAP和0.671 nDCG的成绩，在文档重排序任务中取得了0.271 MAP和0.465 nDCG的成绩。

ABSTRACT

The usage of neural network models puts multiple objectives in conflict with each other: Ideally we would like to create a neural model that is effective, efficient, and interpretable at the same time. However, in most instances we have to choose which property is most important to us. We used the opportunity of the TREC 2019 Deep Learning track to evaluate the effectiveness of a balanced neural re-ranking approach. We submitted results of the TK (Transformer-Kernel) model: a neural re-ranking model for ad-hoc search using an efficient contextualization mechanism. TK employs a very small number of lightweight Transformer layers to contextualize query and document word embeddings. To score individual term interactions, we use a document-length enhanced kernel-pooling, which enables users to gain insight into the model. Our best result for the passage ranking task is: 0.420 MAP, 0.671 nDCG, 0.598 P@10 (TUW19-p3 full). Our best result for the document ranking task is: 0.271 MAP, 0.465 nDCG, 0.730 P@10 (TUW19-d3 re-ranking).

研究动机与目标

• 开发一种在即时搜索中兼顾有效性、效率与可解释性的神经重排序模型。
• 解决神经排序系统中模型复杂度、性能与可解释性之间的冲突。
• 评估一种基于轻量级Transformer层的极简架构方法，用于上下文编码。
• 通过文档长度增强的核池化机制实现可解释性，用于术语交互评分。

提出的方法

• TK模型采用少量轻量级Transformer层，为查询和文档的术语生成上下文嵌入。
• 通过浅层Transformer编码器对查询和文档嵌入进行上下文编码，以捕捉交互模式。
• 使用文档长度增强的核池化机制对术语级交互进行评分，以提升鲁棒性与可解释性。
• 核池化机制在文档长度上聚合术语交互，使用户能够检查贡献显著的术语。
• 模型端到端进行重排序训练，损失函数针对标准信息检索指标进行优化。
• 该方法在TREC深度学习2019赛道的段落与文档重排序任务中均进行了评估。

实验结果

研究问题

• RQ1 基于极简架构的Transformer模型是否能在保持高效与可解释性的同时，实现具有竞争力的重排序性能？
• RQ2 文档长度增强的核池化机制在不牺牲排序质量的前提下，对提升模型可解释性的效果如何？
• RQ3 在神经重排序中，模型复杂度、性能与可解释性之间存在何种权衡？
• RQ4 通过少量Transformer层实现的轻量级上下文编码，能在多大程度上提升即时检索性能，超越非上下文基线？

主要发现

• TK模型在段落重排序任务中取得了0.420 MAP和0.671 nDCG的成绩，证明了其在极简复杂度下仍具备强大有效性。
• 在文档重排序任务中，模型取得了0.271 MAP和0.465 nDCG的成绩，表明其在更具挑战性的任务中也保持了稳定性能。
• 轻量级Transformer层的使用实现了有效上下文编码，同时保持了计算效率。
• 文档长度增强的核池化机制通过突出评分过程中关键的术语交互，提供了可解释性。
• 尽管模型结构简单，仍取得了具有竞争力的结果，表明高性能并不依赖大规模架构。
• 两项任务的结果共同表明，一种在效率与可解释性上优先设计的模型，仍可实现在重排序任务中的最先进性能。