[论文解读] You Are the Best Reviewer of Your Own Papers: An Owner-Assisted Scoring Mechanism

Weijie Su|arXiv (Cornell University)|Oct 27, 2021

Game Theory and Applications被引用 10

一句话总结

本文提出了同序机制（Isotonic Mechanism），一种新颖的评分方法，通过结合审稿人的噪声原始评分与作者对自己论文的真实排名，显著提升了同行评审的准确性。该机制通过求解一个凸优化问题，基于作者的排名施加同序（单调）约束，从而显著提高评分准确性，并在凸效用假设下激励作者如实报告。

ABSTRACT

I consider a setting where reviewers offer very noisy scores for several items for the selection of high-quality ones (e.g., peer review of large conference proceedings), whereas the owner of these items knows the true underlying scores but prefers not to provide this information. To address this withholding of information, in this paper, I introduce the Isotonic Mechanism, a simple and efficient approach to improving imprecise raw scores by leveraging certain information that the owner is incentivized to provide. This mechanism takes the ranking of the items from best to worst provided by the owner as input, in addition to the raw scores provided by the reviewers. It reports the adjusted scores for the items by solving a convex optimization problem. Under certain conditions, I show that the owner's optimal strategy is to honestly report the true ranking of the items to her best knowledge in order to maximize the expected utility. Moreover, I prove that the adjusted scores provided by this owner-assisted mechanism are significantly more accurate than the raw scores provided by the reviewers. This paper concludes with several extensions of the Isotonic Mechanism and some refinements of the mechanism for practical consideration.

研究动机与目标

• 为应对因投稿量激增和合格审稿人不足，导致大规模机器学习会议中同行评审评分不可靠的问题。
• 设计一种不完全依赖审稿人的机制，通过利用作者提供的信息来提升评分准确性。
• 构建一个激励相容的系统，使作者有动机如实报告自己论文的排名。
• 开发一种计算高效且理论基础坚实的评分方法，其在估计论文真实质量方面优于原始审稿人评分。
• 将该机制扩展至实际挑战，如非凸效用、作者策略性行为以及多作者论文。

提出的方法

• 同序机制采用凸优化框架，根据作者提供的自身论文排名来调整原始审稿人评分。
• 将调整过程形式化为同序回归问题，确保调整后的评分尊重作者排名所指定的顺序。
• 该机制最小化一个损失函数，该函数在保持与原始审稿人评分的保真度与遵循作者排名带来的同序约束之间取得平衡。
• 优化过程通过惩罚参数 λ 参数化，用以控制同序约束的强度；当 λ→∞ 时，机制渐近恢复同序解。
• 该方法设计为在凸效用下，作者的最优策略是如实报告排名，从而确保激励相容性。
• 该机制与现有侧重于激励审稿人的方法正交，转而利用作者提供的序数信息。

实验结果

研究问题

• RQ1 作者对自己论文的排名能否显著提升同行评审评分的准确性？
• RQ2 在何种条件下，作者如实报告自己论文的排名是最优策略？
• RQ3 在评分变异性较高的情况下，同序机制与原始审稿人评分相比，在估计准确性方面表现如何？
• RQ4 该机制能否通过处理非凸效用函数或作者策略性行为来扩展至更复杂场景？
• RQ5 在多位作者可能存在利益冲突的多作者论文中，该机制应如何调整？

主要发现

• 同序机制生成的调整后评分显著优于原始审稿人评分，尤其在审稿人评分变异性较高时。
• 在凸效用下，作者唯一的最优策略是如实报告论文排名，从而确保激励相容性。
• 当惩罚参数 λ→∞ 时，该机制渐近恢复同序解，且对 n=2 篇论文的情况可精确实现。
• 当每位作者的投稿数量较多且审稿人评分变异性较高时（这在现代机器学习会议中很常见），评分准确性的提升最为显著。
• 即使作者对真实排名存在不确定性，只要报告其可获得的最准确排名，该策略仍为最优。
• 鼓励开展实证验证，NeurIPS 2021 已收集作者排名（尽管未用于决策），为未来评估提供了基础。