[论文解读] On Strategyproof Conference Peer Review

Yichong Xu, Han Zhao+3 more|arXiv (Cornell University)|Jun 16, 2018

Game Theory and Voting Systems参考文献 46被引用 10

一句话总结

本文提出了一种在学术会议中适用于评审者同时为作者的场景下的策略无关且高效的同行评审机制，采用基于划分的算法，确保评审者无法通过偏倚评审操纵结果。该机制在作者冲突图的温和条件下证明了策略无关性与群体一致性的成立，并在 ICLR 2017 数据上进行了实证验证，同时表明更强的效率要求会使策略无关性变得不可能。

ABSTRACT

We consider peer review in a conference setting where there is typically an overlap between the set of reviewers and the set of authors. This overlap can incentivize strategic reviews to influence the final ranking of one's own papers. In this work, we address this problem through the lens of social choice, and present a theoretical framework for strategyproof and efficient peer review. We first present and analyze an algorithm for reviewer-assignment and aggregation that guarantees strategyproofness and a natural efficiency property called unanimity, when the authorship graph satisfies a simple property. Our algorithm is based on the so-called partitioning method, and can be thought as a generalization of this method to conference peer review settings. We then empirically show that the requisite property on the authorship graph is indeed satisfied in the submission data from the ICLR conference, and further demonstrate a simple trick to make the partitioning method more practically appealing for conference peer review. Finally, we complement our positive results with negative theoretical results where we prove that under various ways of strengthening the requirements, it is impossible for any algorithm to be strategyproof and efficient.

研究动机与目标

• 设计一种策略无关的同行评审机制，确保评审者无法通过操纵其自身论文的结果来获益。
• 通过社会选择理论中的群体一致原则实现效率，即当所有评审者对论文排序达成一致时，最终结果应反映该一致排序。
• 分析在何种条件下策略无关性与效率可在会议同行评审中并存。
• 基于真实会议数据（ICLR 2017）实证验证所提方法的可行性。
• 通过证明更强的效率要求（如成对一致）会使策略无关性不可能实现，确立理论极限。

提出的方法

• 该方法使用基于划分的算法将评审者分配给论文，确保存在利益冲突的评审者不会影响其自身论文的排名。
• 首次将划分方法应用于会议同行评审，推广其应用以处理作者与评审者之间的重叠关系。
• 通过确保任何评审者无法改变其存在冲突的论文的结果，来保证策略无关性。
• 通过在所有评审者对论文顺序达成一致时保持其相对排序，来实现群体一致。
• 该方法依赖于表示作者与评审者关系的冲突图，且算法的正确性依赖于该图的温和结构特性。
• 引入一种实用改进，以增强该方法在真实场景中的可接受性，例如减少评审者的工作量或提升分配质量。

实验结果

研究问题

• RQ1 在作者冲突图的何种条件下，同行评审系统可同时实现策略无关性与效率？
• RQ2 划分方法能否被推广至会议同行评审，同时保持策略无关性与效率？
• RQ3 所提算法在真实会议数据上的表现如何，特别是在满足所需图结构特性方面？
• RQ4 当施加更强的效率标准（如成对一致）时，策略无关性的理论极限是什么？
• RQ5 能否对划分方法进行实用改进，以增强其在真实同行评审场景中的可行性与性能？

主要发现

• 所提出的同行评审算法在作者冲突图的温和结构条件下，可保证策略无关性与群体一致。
• 实证分析确认 ICLR 2017 提交数据中满足所需图结构特性，验证了该方法的实际适用性。
• 划分方法可推广至会议同行评审，扩展了其在更复杂场景中的应用。
• 一种简单的实用改进被证明可增强方法的可接受性，而不会损害其理论保证。
• 本文证明了不存在任何算法能同时满足策略无关性与成对一致，确立了根本性的理论极限。
• 结果表明，群体一致是一种可行且可实现的效率标准，而更强形式的一致性则与策略无关性不相容。