[论文解读] Pre-training for Ad-hoc Retrieval: Hyperlink is Also You Need

Zhengyi Ma, Zhicheng Dou+5 more|arXiv (Cornell University)|Aug 20, 2021

Topic Modeling参考文献 62被引用 7

一句话总结

本文提出 HARP，一种用于即时检索的预训练框架，通过利用超链接和锚文本创建更可靠、经人工筛选的监督信号。通过基于锚文本-文档关系设计四项新型预训练任务，并与掩码语言建模联合优化，HARP 在 MS MARCO 和 TREC-COVID 上显著提升了检索性能，优于 BERT 和现有针对信息检索的模型。

ABSTRACT

Designing pre-training objectives that more closely resemble the downstream tasks for pre-trained language models can lead to better performance at the fine-tuning stage, especially in the ad-hoc retrieval area. Existing pre-training approaches tailored for IR tried to incorporate weak supervised signals, such as query-likelihood based sampling, to construct pseudo query-document pairs from the raw textual corpus. However, these signals rely heavily on the sampling method. For example, the query likelihood model may lead to much noise in the constructed pre-training data. \blfootnote{$\dagger$ This work was done during an internship at Huawei.} In this paper, we propose to leverage the large-scale hyperlinks and anchor texts to pre-train the language model for ad-hoc retrieval. Since the anchor texts are created by webmasters and can usually summarize the target document, it can help to build more accurate and reliable pre-training samples than a specific algorithm. Considering different views of the downstream ad-hoc retrieval, we devise four pre-training tasks based on the hyperlinks. We then pre-train the Transformer model to predict the pair-wise preference, jointly with the Masked Language Model objective. Experimental results on two large-scale ad-hoc retrieval datasets show the significant improvement of our model compared with the existing methods.

研究动机与目标

• 为解决现有针对信息检索的预训练方法中弱监督的问题，这些方法依赖于如查询-似然采样等嘈杂的算法信号。
• 探索利用由网页管理员人工创建的超链接和锚文本作为更可靠、高质量的监督信号用于预训练。
• 设计四项不同的预训练任务，以建模锚文本-文档关系的不同方面，从而提升即时检索中的相关性匹配能力。
• 评估基于超链接的预训练是否能增强模型泛化能力，特别是在低资源和大规模微调设置下。

提出的方法

• 利用网络语料中大规模的超链接和锚文本作为人工筛选的、描述性强的信号来源，用于预训练。
• 设计四项预训练任务：(1) 双样本相关性排序 (RQP)，(2) 双样本相关性蒸馏 (RDP)，(3) 查询-文档匹配 (QDM)，以及 (4) 锚文本共现建模 (ACM)，每项任务捕捉锚文本-文档语义的不同方面。
• 将这四项任务与标准的掩码语言建模 (MLM) 目标联合预训练 Transformer 模型，以学习鲁棒的表征。
• 利用锚文本周围的上下文来丰富查询表征，减少歧义并提升语义相关性建模能力。
• 在下游即时检索任务上，使用标注的相关性判断对预训练的 HARP 模型进行微调。
• 使用 MRR@100 和 MRR@10 等标准信息检索指标，在 MS MARCO 和 TREC-COVID 数据集上评估性能。

实验结果

研究问题

• RQ1 超链接和锚文本信号是否能作为比算法生成的伪查询对更可靠的监督信号用于信息检索预训练？
• RQ2 锚文本-文档关系的不同视角（如相关性、上下文、共现性）对检索性能有何贡献？
• RQ3 基于超链接的目标进行预训练在低资源和大规模微调场景下，能在多大程度上提升模型泛化能力？
• RQ4 将多个基于超链接的任务与 MLM 联合优化，是否能带来比单目标或 BERT 风格预训练更优的检索效果？

主要发现

• 移除任意一项预训练任务均导致性能下降，证实了 HARP 框架中每一项任务的有效性与必要性。
• 当移除 RQP 任务时性能下降最大，表明锚文本与文档之间的直接相关性建模是最具影响力的组件。
• 在 MS MARCO 和 TREC-COVID 上，HARP 在所有评估指标上均优于 BERT，证明了针对信息检索的预训练优势。
• 在少样本设置下，HARP 仅使用 5–20 个标注查询即可保持强劲性能，显示出更高的数据效率和对数据稀疏性的鲁棒性。
• 在大规模查询集（50k–200k）上，HARP 持续优于基线模型，且随着微调数据量增加性能进一步提升，表明其具备良好的可扩展性并能有效利用标注数据。
• 消融实验确认，仅使用 MLM 是不足以满足即时检索需求的，而添加基于超链接的目标对于实现最佳性能至关重要。