[论文解读] One-Shot Labeling for Automatic Relevance Estimation

Sean MacAvaney, Luca Soldaini|arXiv (Cornell University)|Feb 22, 2023

Topic Modeling被引用 5

一句话总结

本文提出了一种一次性标注（One-Shot Labeling, 1 SL）方法，利用大语言模型根据每个查询仅有的一个已知相关文档，预测信息检索评估中未标注文档的相关性。尽管F1分数较低（最佳为0.63），1 SL在系统排序方面与完整的人工评估结果具有高度相关性（>0.86），并提升了统计检验的可靠性，从而实现低成本、可扩展的评估，无需深度人工筛选。

ABSTRACT

Dealing with unjudged documents ("holes") in relevance assessments is a perennial problem when evaluating search systems with offline experiments. Holes can reduce the apparent effectiveness of retrieval systems during evaluation and introduce biases in models trained with incomplete data. In this work, we explore whether large language models can help us fill such holes to improve offline evaluations. We examine an extreme, albeit common, evaluation setting wherein only a single known relevant document per query is available for evaluation. We then explore various approaches for predicting the relevance of unjudged documents with respect to a query and the known relevant document, including nearest neighbor, supervised, and prompting techniques. We find that although the predictions of these One-Shot Labelers (1SL) frequently disagree with human assessments, the labels they produce yield a far more reliable ranking of systems than the single labels do alone. Specifically, the strongest approaches can consistently reach system ranking correlations of over 0.86 with the full rankings over a variety of measures. Meanwhile, the approach substantially increases the reliability of t-tests due to filling holes in relevance assessments, giving researchers more confidence in results they find to be significant. Alongside this work, we release an easy-to-use software package to enable the use of 1SL for evaluation of other ad-hoc collections or systems.

研究动机与目标

• 解决相关性评估中未标注文档（'空缺'）导致的系统评估偏差和统计功效降低问题。
• 探究当每个查询仅有一个相关文档时，大语言模型是否能可靠估计未标注文档的相关性。
• 评估自动标注是否能生成与完整人工评估高度相关的系统排序，特别是在以精确率为导向的指标下。
• 通过减少缺失的相关性判断，提升信息检索评估中统计显著性检验（如t检验）的可靠性。
• 通过用自动化标注替代昂贵的深度筛选，实现可扩展、低成本的评估，同时保持评估的准确性。

提出的方法

• 该方法利用每个查询中一个已知相关文档作为参考，通过多种基于大语言模型的方法推断未标注文档的相关性。
• 评估了三种主要的1 SL技术：基于密集向量相似度的k近邻检索、监督式相对相关性评分器（DuoT5），以及零样本提示方法（FlanT5/DuoPrompt）。
• 使用召回无关的C/W/L评估指标（SDCG@10、P@10和RBP(p=0.8)）估算系统性能，基于预测的相关性判断。
• 通过肯德尔等级相关系数（Kendall’s tau）和斯皮尔曼等级相关系数（Spearman’s rank correlation）比较1 SL预测所得系统排序与完整人工评估结果的相关性。
• 基于1 SL预测的相关性判断，使用t检验评估系统比较的统计显著性，并与完整qrels结果进行对比评估。
• 该方法已实现为开源软件包（autoqrels），可在其他独立检索数据集上复用。

实验结果

研究问题

• RQ1 仅使用一个相关文档的一次性标注能否生成与完整人工相关性评估高度相关的系统排序？
• RQ2 不同基于大语言模型的1 SL方法（如近邻检索、监督模型、提示工程）在预测相关性和保持系统排序顺序方面表现如何？
• RQ3 与不完整评估相比，1 SL预测的相关性判断在多大程度上提升了统计显著性检验（如t检验）的可靠性？
• RQ4 在完整评估不可行的情况下，1 SL能否替代共享任务中的深度人工相关性评估？
• RQ5 1 SL在召回估计、多文档相关性以及模型偏差方面存在哪些局限性？

主要发现

• 最强的1 SL方法DuoPrompt在TREC DL 2019–2021中与完整人工评估结果的系统排序相关性达到0.97至0.98，并在所有指标中均保持超过0.86的相关性。
• DuoPrompt生成的t检验结果比其他方法更可靠，与完整qrels相比，假阳性与假阴性结果显著更少。
• 监督模型DuoT5也实现了较高的相关性（0.87–0.92），但其t检验结果中假阳性率高于DuoPrompt。
• 基于MaxRep的方法表现较差，相关性低于0.5，且假阳性率较高，尤其是MaxRep-BM25。
• 仅使用一个已标注文档（无预测）会导致排序结果极不准确，且t检验假阳性率极高，倾向于偏向贡献该正样本的系统。
• 该方法可在极少人工标注下实现可靠评估，表明1 SL可减少对深度人工筛选的依赖，同时保持评估的准确性。