[论文解读] Simplified Relative Citation Ratio for Static Paper Ranking: UFMG/LATIN at WSDM Cup 2016

Sabir Ribas, Alberto Ueda+3 more|arXiv (Cornell University)|Mar 4, 2016

Advanced Graph Neural Networks参考文献 9被引用 7

一句话总结

本文提出了 S-RCR，即相对引用率（RCR）的一种简化版本，该方法利用共引用网络对学术论文进行排序，无需超参数调优。仅使用这一项特征，在包含1.2亿篇论文的 Microsoft Academic Graph 上，作者在 WSDM Cup 2016 中获得第三名，表明精心设计的单一特征可超越复杂模型，且计算成本更低、可解释性更强。

ABSTRACT

Static rankings of papers play a key role in the academic search setting. Many features are commonly used in the literature to produce such rankings, some examples are citation-based metrics, distinct applications of PageRank, among others. More recently, learning to rank techniques have been successfully applied to combine sets of features producing effective results. In this work, we propose the metric S-RCR, which is a simplified version of a metric called Relative Citation Ratio --- both based on the idea of a co-citation network. When compared to the classical version, our simplification S-RCR leads to improved efficiency with a reasonable effectiveness. We use S-RCR to rank over 120 million papers in the Microsoft Academic Graph dataset. By using this single feature, which has no parameters and does not need to be tuned, our team was able to reach the 3rd position in the first phase of the WSDM Cup 2016.

研究动机与目标

• 开发一种高效、无参数的度量方法，用于大规模学术图中的静态论文排序。
• 在相比现有基于引用和图的方法时，提升排序效果的同时降低计算复杂度。
• 评估单一、精心设计的特征是否能在学术排序任务中超越复杂的端到端学习排序模型。
• 解决在不依赖可调参数或大量特征工程的前提下，对 Microsoft Academic Graph 中论文进行排序的挑战。

提出的方法

• 提出 S-RCR，即基于共引用网络结构的相对引用率（RCR）的简化变体。
• 利用共引用关系计算归一化的引用得分，以反映论文在其研究领域内的相对影响力。
• 将该度量方法应用于 Microsoft Academic Graph，处理约5000万篇具有引用关联的论文。
• 使用 C++ 实现图处理，使用 Python 进行数据处理，借助 Pandas 和 Jupyter 提升效率。
• 仅使用单一、不可调参的特征进行排序，避免模型训练和超参数调优的需要。
• 使用专家研究人员提供的成对人工判断结果评估排序效果，得分在公开和私有测试集上均有报告。

实验结果

研究问题

• RQ1 简化且无参数的引用度量是否能在静态论文排序中超越传统的引用计数和 PageRank？
• RQ2 与复杂的端到端学习排序模型相比，单一精心设计的特征在学术排序任务中的有效性如何？
• RQ3 S-RCR 度量是否在显著提升计算效率的同时保持了高排序效果？
• RQ4 对 RCR 的简化在大规模学术图中在多大程度上保持了排序质量？

主要发现

• S-RCR 在 WSDM Cup 2016 第一阶段的公开排行榜上获得 0.697 的得分，总排名第三。
• 在私有测试集上，S-RCR 得分为 0.671，使团队在 32 支参赛队伍中位列第三。
• 该方法仅用时 1 小时 50 分钟即可在 24 核机器上生成最终的排序文件，展现出极高的计算效率。
• 在公开排行榜上，S-RCR 分别比引用计数（0.675）和 PageRank（0.687）高出 3.3% 和 1.8%。
• 在私有测试集上，得分从 0.697 降至 0.671，降幅适中，表明相比其他队伍，S-RCR 的过拟合程度较低。
• 结果证实，仅通过单一、可解释且不可调参的特征，即可实现有效排序，从而挑战了复杂模型的必要性。