[论文解读] Tradeoffs in Preventing Manipulation in Paper Bidding for Reviewer Assignment

Steven Jecmen, Nihar B. Shah+2 more|arXiv (Cornell University)|Jul 22, 2022

Expert finding and Q&A systems被引用 4

一句话总结

本文分析了在学术会议审稿分配过程中防止出价操纵的权衡，提出了一套理想属性框架以评估现有及未来的算法。它评估了出价上限、随机展示、循环预防和概率受限随机分配等方法，表明尽管每种方法在一定程度上可防范操纵，但均涉及分配质量、偏好表达能力、出价激励与攻击鲁棒性之间的权衡。

ABSTRACT

Many conferences rely on paper bidding as a key component of their reviewer assignment procedure. These bids are then taken into account when assigning reviewers to help ensure that each reviewer is assigned to suitable papers. However, despite the benefits of using bids, reliance on paper bidding can allow malicious reviewers to manipulate the paper assignment for unethical purposes (e.g., getting assigned to a friend's paper). Several different approaches to preventing this manipulation have been proposed and deployed. In this paper, we enumerate certain desirable properties that algorithms for addressing bid manipulation should satisfy. We then offer a high-level analysis of various approaches along with directions for future investigation.

研究动机与目标

• 识别并形式化评审分配算法的关键理想属性，以在基于出价的分配优势与抗操纵能力之间取得平衡。
• 分析现有针对学术同行评审中出价操纵的缓解策略，尤其针对大规模会议。
• 评估分配质量、偏好表达能力、出价激励与抗操纵能力等关键属性之间的权衡。
• 通过揭示当前方法的不足并建议多种方法的组合，为未来算法设计提供指导。
• 提供一个结构化框架，用于比较和改进评审分配系统中的出价操纵防御机制。

提出的方法

• 提出五项核心理想属性：分配质量、偏好表达能力、出价激励、低攻击成功率和高攻击成本。
• 将现有缓解技术分类为：低侵入性（如出价上限、随机展示）、基于相似度建模（如出价建模、评审人聚类）和随机化分配（如概率受限随机分配）。
• 分析每种方法如何满足理想属性，尤其关注其在限制操纵的同时保持评审人偏好表达能力的能力。
• 提出评审人聚类算法作为出价建模的简化变体，以增强对操纵的鲁棒性。
• 评估假设（如攻击者能够操纵文本相似度或学科领域）对算法有效性的影响。
• 提出混合方法，例如将概率受限随机分配与地理多样性结合，以增强鲁棒性。

实验结果

研究问题

• RQ1 在评审分配中，不同的出价操纵缓解策略在分配质量与抗操纵能力之间如何权衡？
• RQ2 现有算法在多大程度上激励诚实出价，同时防止恶意评审人提高其被分配到目标论文的概率？
• RQ3 低侵入性、基于相似度建模和随机化分配方法在防御出价操纵方面的相对优势与劣势是什么？
• RQ4 如何组合现有算法以同时改善多个理想属性（如抗攻击能力和分配质量）？
• RQ5 关于攻击者能力的哪些假设会显著影响出价操纵防御的有效性？算法应如何设计以在最坏情况下仍保持鲁棒性？

主要发现

• 出价上限和随机展示具有最小侵入性，能保持评审人出价行为，但对复杂操纵的防护能力有限。
• 出价建模和评审人聚类通过利用非出价相似度特征提升抗攻击能力，但如果攻击者能操纵这些特征，其有效性会下降。
• 概率受限随机分配通过抽象化相似度计算提供了强大的最坏情况鲁棒性，但可能导致评审人浪费时间在不符合资格的论文上出价。
• 由于出价前的随机化，随机展示在预期相似度上优于概率受限随机分配，确保评审人仅对合格论文出价。
• AAAI 2021 和 2022 等会议同时部署了多种技术（如循环预防、地理多样性、出价上限），表明多方法组合在实践中既可行又有效。
• 没有单一算法能同时满足所有理想属性；权衡依然存在，未来工作应聚焦于结合现有方法优势的混合算法。