[论文解读] Positional Bias in Long-Document Ranking: Impact, Assessment, and Mitigation

Leonid Boytsov, Akinpelu, David+6 more|arXiv (Cornell University)|Jul 4, 2022

Topic Modeling被引用 5

一句话总结

本文研究了长文档排序中的位置偏差问题，评估了包括 Longformer、BigBird 等专用 Transformer 模型以及 PARADE 等检索方法在内的 13 种模型。令人惊讶的是，简单的 FirstP 基线方法——将文档截断至标准 Transformer 输入长度——在性能上优于更复杂的模型，这主要归因于相关文本内容集中在文档的前半部分。研究结论认为，由于这种偏差的存在，MS MARCO 和 Robust04 等标准基准数据集无法有效评估长文档模型的性能。

ABSTRACT

We tested over 20 Transformer models for ranking long documents (including recent LongP models trained with FlashAttention and RankGPT models "powered" by OpenAI and Anthropic cloud APIs). We compared them with the simple FirstP baseline, which applied the same model to truncated input (up to 512 tokens). On MS MARCO, TREC DL, and Robust04 no long-document model outperformed FirstP by more than 5% (on average). We hypothesized that this lack of improvement is not due to inherent model limitations, but due to benchmark positional bias (most relevant passages tend to occur early in documents), which is known to exist in MS MARCO. To confirm this, we analyzed positional relevance distributions across four long-document corpora (with six query sets) and observed the same early-position bias. Surprisingly, we also found bias in six BEIR collections, which are typically categorized as short-document datasets. We then introduced a new diagnostic dataset, MS MARCO FarRelevant, where relevant spans were deliberately placed beyond the first 512 tokens. On this dataset, many long-context models (including RankGPT) performed at random-baseline level, suggesting overfitting to positional bias. We also experimented with debiasing training data, but with limited success. Our findings (1) highlight the need for careful benchmark design in evaluating long-context models for document ranking, (2) identify model types that are more robust to positional bias, and (3) motivate further work on approaches to debias training data. We release our code and data to support further research.

研究动机与目标

• 评估 13 种近期长文档排序模型的性能，包括采用稀疏注意力机制的专用 Transformer 模型。
• 探究能够处理整个长文档的模型（如 Longformer、BigBird）是否显著优于简单的截断基线（FirstP）。
• 评估 MS MARCO 和 Robust04 等标准基准在长文档排序评估中的局限性。
• 分析相关段落在文档中的分布情况，以解释模型性能差异。
• 通过将查询嵌入注入聚合网络，改进 PARADE-Transformer 模型，以提升其稳定性和性能。

提出的方法

• 在两个标准数据集 MS MARCO 和 Robust04 上对 13 种模型进行全面评估，使用 MAP 和 NDCG@10 等多种指标。
• 系统性地消融 PARADE 框架中的滑动窗口大小和步长，以评估其敏感性和鲁棒性。
• 采用一致的截断阈值（1431 个 token）进行模型训练与微调，以隔离输入长度的影响。
• 提出一种改进的 PARADE-Transformer 模型（PARADE Transf-PRETR-Q-L6），将查询嵌入注入聚合网络，以增强相关性建模能力。
• 使用多个随机种子（三个）进行训练与评估，以确保统计可靠性并降低方差。
• 公开关键软件组件，以支持可复现性及进一步的基准测试。

实验结果

研究问题

• RQ1 RQ1：最先进的长文档排序模型相较于 FirstP 基线的性能提升程度如何？是否存在进一步改进的空间？
• RQ2 RQ2：Longformer 和 BigBird 模型在长文档排序任务中与信息检索社区模型相比表现如何？是否优于 FirstP 基线？
• RQ3 RQ3：通过将查询嵌入注入聚合 Transformer 层，能否提升 PARADE-Transformer 模型的性能？

主要发现

• FirstP 基线方法（将文档截断至标准 Transformer 输入长度，如 512 个 token）表现出乎意料地优秀，通常优于处理完整长文档的复杂模型。
• 专为长上下文设计的 Transformer 模型（如 Longformer 和 BigBird）相较于 FirstP 基线的性能提升微乎其微，表明其架构优势被文档内容中的位置偏差所抵消。
• 相关段落的分布严重偏向文档开头，这解释了为何仅截取文档前半部分通常能捕获到最相关的内容。
• 使用随机初始化聚合器的 PARADE-Transformer 模型难以有效训练，但通过使用预训练权重（如 Sentence-BERT MiniLM）进行微调，可显著提升性能与稳定性。
• 改进后的 PARADE-Transformer 模型（PARADE Transf-PRETR-Q-L6）在 MS MARCO 和 TREC DL 数据集上，无论窗口大小与步长如何，均一致优于原始模型。
• Robust04 和 MS MARCO 被发现不适合作为长文档排序的基准，因为早期位置的相关性占主导，这使得简单截断策略占优，从而掩盖了模型的真实泛化能力。