[论文解读] Recommender Systems for the Conference Paper Assignment Problem

Don Conry, Yehuda Koren+1 more|ArXiv.org|Jun 22, 2009

Expert finding and Q&A systems参考文献 18被引用 6

一句话总结

本文提出了一种集成推荐系统方法，用于会议论文分配，通过整合多种数据源（如论文摘要、学科类别和合作者关系）来改进审稿人偏好建模。通过使用线性规划优化基于预测亲和力的分配，该方法显著提升了分配质量，与基线方法相比，未偏好分配比例最高可降低70%。

ABSTRACT

Conference paper assignment, i.e., the task of assigning paper submissions to reviewers, presents multi-faceted issues for recommender systems research. Besides the traditional goal of predicting `who likes what?', a conference management system must take into account aspects such as: reviewer capacity constraints, adequate numbers of reviews for papers, expertise modeling, conflicts of interest, and an overall distribution of assignments that balances reviewer preferences with conference objectives. Among these, issues of modeling preferences and tastes in reviewing have traditionally been studied separately from the optimization of paper-reviewer assignment. In this paper, we present an integrated study of both these aspects. First, due to the paucity of data per reviewer or per paper (relative to other recommender systems applications) we show how we can integrate multiple sources of information to learn paper-reviewer preference models. Second, our models are evaluated not just in terms of prediction accuracy but in terms of the end-assignment quality. Using a linear programming-based assignment optimization formulation, we show how our approach better explores the space of unsupplied assignments to maximize the overall affinities of papers assigned to reviewers. We demonstrate our results on real reviewer preference data from the IEEE ICDM 2007 conference.

研究动机与目标

• 通过整合多样化信息源，解决会议管理系统中审稿人-论文偏好数据稀疏的问题。
• 在传统协同过滤之外，通过内容特征和结构信号（如合作者关系与学科类别）改进审稿人偏好建模。
• 不仅优化预测准确性，还优化端到端的分配质量，平衡审稿人偏好与会议目标。
• 证明更优的偏好建模可带来更优的实际分配结果，尤其在数据稀缺条件下。
• 在IEEE ICDM 2007的真实数据上评估该方法，验证其在实际会议场景中的有效性。

提出的方法

• 将多种数据源——论文摘要、学科类别和合作者网络——整合到统一的偏好建模框架中。
• 采用混合推荐模型，结合协同过滤与内容特征，以预测审稿人对论文的亲和力。
• 应用基于线性规划的分配优化，以在满足审稿人容量和最低评审数量等约束条件下，最大化整体审稿人-论文亲和力。
• 使用基于残差（Resid）和归一化（Norm）的插补技术，模拟真实世界中的数据稀疏性，填补缺失的审稿人评分。
• 采用训练-测试划分策略，其中测试集的偏好对分配算法隐藏，但由模型预测，以模拟真实部署环境。
• 通过测量在存在缺失数据情况下，匹配高优先级审稿人偏好（如“高”评分）的分配比例，评估分配质量。

实验结果

研究问题

• RQ1 如何有效结合多个稀疏数据源，以在会议论文分配中建模审稿人偏好？
• RQ2 改进的偏好建模在多大程度上提升了实际的审稿人-论文分配质量？
• RQ3 基于线性规划的优化能否有效平衡审稿人偏好与会议约束（如审稿人工作量和评审覆盖范围）？
• RQ4 在数据稀缺条件下，不同插补策略（Resid 与 Norm）对分配质量有何影响？
• RQ5 内容特征与结构特征的整合是否能在标准协同过滤之外，提升预测准确性和分配结果？

主要发现

• 所提方法将未偏好分配（'否'类别）的比例从基线的约60–70%降低至使用插补偏好时的最低15%。
• 基于残差的插补（Resid）在测试分配中约50–60%进入最高偏好类别（'高'），显著优于基线方法。
• 归一化插补（Norm）表现几乎与Resid相当，尽管略逊一筹，表明对不同插补策略具有鲁棒性。
• 即使50%的审稿人偏好被隐藏，改进的偏好模型仍增强了分配灵活性，证明其在数据稀缺下的强泛化能力。
• 该方法在保持或略微提升Taylor算法原始的“评分总和”目标方面表现良好，表明标准指标未出现退化。
• 主题相关性与合作者关系信息的整合，提升了偏好预测的准确性，同时未损害整体优化目标。