[论文解读] Static Ranking of Scholarly Papers using Article-Level Eigenfactor (ALEF)

Ian Wesley-Smith, Carl T. Bergstrom+1 more|arXiv (Cornell University)|Jun 28, 2016

Complex Network Analysis Techniques参考文献 14被引用 40

一句话总结

本文提出了文章级特征值因子（ALEF），一种基于引用网络的排序算法，通过在引用图上应用特征向量中心性来计算学术论文的重要性。在2016年WSDM Cup挑战赛中，ALEF获得了0.676的得分，位列第二，证明了仅使用引用数据即可实现优异性能，且优于度中心性等简单方法。

ABSTRACT

Microsoft Research hosted the 2016 WSDM Cup Challenge based on the Microsoft Academic Graph. The goal was to provide static rankings for the articles that make up the graph, with the rankings to be evaluated against those of human judges. While the Microsoft Academic Graph provided metadata about many aspects of each scholarly document, we focused more narrowly on citation data and used this contest as an opportunity to test the Article Level Eigenfactor (ALEF), a novel citation-based ranking algorithm, and evaluate its performance against competing algorithms that drew upon multiple facets of the data from a large, real world dataset (122M papers and 757M citations). Our final submission to this contest was scored at 0.676, earning second place.

研究动机与目标

• 评估基于引用的排序算法文章级特征值因子（ALEF）在静态学术论文排序中的有效性。
• 比较仅使用引用数据的方法与利用微软学术图中多种数据维度的方法的性能表现。
• 探究是否可通过文章级引用推断作者级得分，以提升排序覆盖范围和准确性。
• 评估ALEF在包含1.22亿篇论文和7.57亿条引用的大规模引用网络上的可扩展性和鲁棒性。
• 确定仅依靠网络方法是否足以在学术排序中实现高性能，即使面临机器学习方法日益增长的竞争。

提出的方法

• ALEF将特征向量中心性应用于引用网络，其中每篇论文的重要性由引用它的论文的重要性决定，通过矩阵运算迭代计算得出。
• 该算法引入了随机跳跃参数以改善收敛性和覆盖范围，使其能够为比度中心性更多的论文分配得分。
• ALEF在微软学术图上进行训练和评估，仅使用引用链接作为输入，不依赖标题、作者或出版场所等元数据。
• 通过聚合每位作者关联论文的ALEF得分，推断出作者级得分，从而增加可排序实体的数量。
• 该方法采用静态排序框架，不针对用户查询或动态信号进行调整，仅关注引用图中的结构重要性。
• 性能通过成对排序指标进行评估，将模型预测的论文对顺序与人工标注的判断进行比较。

实验结果

研究问题

• RQ1 纯粹基于引用网络的方法（如ALEF）是否能在不使用额外元数据的情况下，在静态学术论文排序中实现高性能？
• RQ2 在大规模引用网络中，ALEF与度中心性等简单中心性度量相比，在准确性和覆盖范围方面表现如何？
• RQ3 在多大程度上可以通过文章级ALEF得分推断作者级得分，以提升整体排序覆盖范围和性能？
• RQ4 与其它数据模态相比，引用网络结构本身编码了多少关于学术重要性的信号？
• RQ5 在受控基准设置下，ALEF的性能与基于机器学习的方法相比如何？

主要发现

• ALEF在2016年WSDM Cup挑战赛中获得最终评估得分0.676，位列18份提交方案中的第二名。
• 尽管度中心性更简单且更快，ALEF仍以0.676比0.669的得分小幅但显著优于度中心性。
• 由于随机游走过程中引入了随机跳跃机制，ALEF的覆盖范围比度中心性高出20%，使更多论文获得非零得分。
• 度中心性与ALEF之间的Spearman等级相关系数为ρ = 0.97，表明两者排名顺序高度相似，但ALEF在相对性能上更优。
• 通过从ALEF得分推断作者得分，使评估得分提升了0.006，同时使可排序实体数量增加了14%，显著提升了整体覆盖范围。
• 完全随机排序的得分为0.526，表明表现最佳的方法（0.683）仅比随机猜测好约30%，说明尽管基线较强，该任务仍具挑战性。