[论文解读] Strategyproofing Peer Assessment via Partitioning: The Price in Terms of Evaluators' Expertise

Komal Dhull, Steven Jecmen+2 more|arXiv (Cornell University)|Jan 25, 2022

Auction Theory and Applications被引用 4

一句话总结

该论文提出了一种基于划分的策略性投票防范机制，通过分区策略防止策略性投票，同时优化评审人与论文的专长匹配。该研究设计了多项多项式时间算法，最小化‘策略性代价’——即专长质量的损失，在真实会议数据上仅造成11.7%的相似度损失，相较于最优非策略性分配方案；当排除高产作者评审人后，相似度损失进一步降低至8.9%。

ABSTRACT

Strategic behavior is a fundamental problem in a variety of real-world applications that require some form of peer assessment, such as peer grading of homeworks, grant proposal review, conference peer review of scientific papers, and peer assessment of employees in organizations. Since an individual's own work is in competition with the submissions they are evaluating, they may provide dishonest evaluations to increase the relative standing of their own submission. This issue is typically addressed by partitioning the individuals and assigning them to evaluate the work of only those from different subsets. Although this method ensures strategyproofness, each submission may require a different type of expertise for effective evaluation. In this paper, we focus on finding an assignment of evaluators to submissions that maximizes assigned evaluators' expertise subject to the constraint of strategyproofness. We analyze the price of strategyproofness: that is, the amount of compromise on the assigned evaluators' expertise required in order to get strategyproofness. We establish several polynomial-time algorithms for strategyproof assignment along with assignment-quality guarantees. Finally, we evaluate the methods on a dataset from conference peer review.

研究动机与目标

• 为解决竞争性同行评审中的策略行为问题，即评审人可能通过操纵评分来提升自身论文的结果。
• 研究策略性投票与评审人-论文专长匹配之间的权衡，量化‘策略性代价’。
• 设计计算高效的算法，在满足策略性投票约束下最大化分配质量。
• 在真实会议同行评审数据上，特别是ICLR 2018数据上，对所提方法进行实证评估。
• 探讨排除高产作者评审人对分区质量与专长保留的影响。

提出的方法

• 采用一种分区机制，仅将评审人分配至不同子集的论文，通过隔离每个参与者的评估对其自身作品的影响，确保策略性投票的防范。
• 提出算法5，一种用于作者图中连通分量的启发式分区方法，以实现负载均衡并最大化专长相似度。
• 使用评审人-论文对与其最优分配之间的相似度度量，量化分配质量的损失。
• 在预处理阶段移除发表论文超过三篇的评审人，以减少大连通分量，提升分区灵活性。
• 与随机分区和先前工作进行对比，采用相似度损失、负载均衡度和评分分布相似性等指标进行评估。
• 使用ICLR 2018数据集，标准会议负载设置为k_p=3, k_a=6，评估实际性能。

实验结果

研究问题

• RQ1 通过分区实现策略性投票约束时，评审人专长质量损失的根本极限是什么？
• RQ2 如何设计多项式时间算法，在满足策略性投票约束下实现接近最优的分配质量？
• RQ3 在真实同行评审场景中，排除高产作者评审人能在多大程度上提升策略性分区的质量？
• RQ4 在使用所提分区方法时，结果子集在论文强度和评分分布方面是否保持高度均衡？
• RQ5 与随机分区和先前启发式方法相比，所提算法在专长保留与分区均衡性方面表现如何？

主要发现

• 算法5在ICLR 2018数据集上，相较于非策略性最优分配，相似度损失为11.7%。
• 在移除53位发表论文超过三篇的评审人后，相似度损失下降至8.9%，表明专长匹配得到改善。
• 当排除高产作者评审人后，各子集的论文数量显著更均衡——差异仅1篇，而包含高产作者时差异达109篇。
• 在排除高产作者评审人后，算法生成的两个子集在论文评分分布上高度相似。
• 各子集中获得各类评审结果（如接受/拒绝）的论文比例几乎完全一致，表明结果分布公平。
• 所提算法的性能与先前工作中一种简单任意分区启发式方法相当，后者相似度损失为11.4%，表明即使在简单启发式下，该方法也表现出稳健性。