[论文解读] Overview of the TREC 2019 Fair Ranking Track

Asia J. Biega, Fernando Díaz+2 more|arXiv (Cornell University)|Mar 25, 2020

Information Retrieval and Search Behavior参考文献 10被引用 4

一句话总结

本论文介绍了 TREC 2019 公平排序赛道，这是一个用于评估检索系统在内容提供者公平性与相关性并重方面的基准。该研究提出了一项重排序任务，使用来自 Semantic Scholar 的学术摘要，通过在未知群体定义（如机构声望、h 指数）下的曝光度指标来衡量公平性，并报告称，fair_LambdaMART 和 uognleMaxUtil 等系统在多种分组方式下均实现了较高的公平性与效用权衡。

ABSTRACT

The goal of the TREC Fair Ranking track was to develop a benchmark for evaluating retrieval systems in terms of fairness to different content providers in addition to classic notions of relevance. As part of the benchmark, we defined standardized fairness metrics with evaluation protocols and released a dataset for the fair ranking problem. The 2019 task focused on reranking academic paper abstracts given a query. The objective was to fairly represent relevant authors from several groups that were unknown at the system submission time. Thus, the track emphasized the development of systems which have robust performance across a variety of group definitions. Participants were provided with querylog data (queries, documents, and relevance) from Semantic Scholar. This paper presents an overview of the track, including the task definition, descriptions of the data and the annotation process, as well as a comparison of the performance of submitted systems.

研究动机与目标

• 解决信息检索系统中代表性不足作者内容可发现性不平衡的问题。
• 开发一种与传统相关性指标相辅相成的标准化公平性排序评估框架。
• 创建一个带有作者群体成员标注和相关性标签的基准数据集，用于公平排序评估。
• 鼓励开发在测试时能应对多种未知群体定义的重排序系统。
• 推广衡量作者在排序序列中长期曝光度的公平性指标，而不仅限于单个排名。

提出的方法

• 基于浏览模型的曝光度指标，根据排序位置和用户停止概率计算作者的预期曝光度。
• 使用来自 Semantic Scholar 的点击日志推导二元相关性标签，假设点击表示相关性。
• 实施一项重排序任务，系统对每个查询的文档集进行重排序，以同时优化相关性和公平性。
• 通过预定义作者群体间曝光差异导出的不公平度量指标来衡量公平性。
• 在查询层面实施宏观和微观 amortized 评估，以在大规模上评估系统性能。
• 采用一种在提交后才公开群体定义的协议，以测试系统在不同分组方式下的鲁棒性。

实验结果

研究问题

• RQ1 如何在衡量中考虑内容生产者的长期曝光度，从而实现排序公平性？
• RQ2 重排序系统在多大程度上可以纠正初始检索结果中对主导作者或机构的偏见？
• RQ3 不同公平性感知算法在测试时面对多种未知群体定义的表现如何？
• RQ4 在不同分组方案下，学术搜索排序中相关性与公平性的权衡关系如何？
• RQ5 基于点击的相关性标注偏差在多大程度上影响了排序系统公平性评估？

主要发现

• 在 IMF 层级分组（两组）下，fair_LambdaMART 系统实现了最高的预期效用（0.6599）和适中水平的不公平度（0.0741）。
• 在相同分组定义下，uognleMaxUtil 系统实现了最高的预期效用（0.6741）和适中的不公平度（0.0799）。
• 像 QUARTZ-e0.00100 和 QUARTZ-e0.00200 这类系统在 IMF 层级分组下表现出色，不公平度值约为 0.035。
• 在 h 指数分组（四组）下，fair_LambdaMART 的不公平度为 0.0855，效用为 0.6599，表明存在显著的权衡。
• 在 h 指数分组下，uognleMaxUtil 系统实现了最高的效用（0.6741）和适中的不公平度（0.0656），表明其在各种分组定义下均表现强劲。
• 结果表明，公平性感知的重排序可以提升曝光公平性，而不会牺牲相关性，尤其是在群体定义事先未知的情况下。