[论文解读] Simple Yet Effective Methods for Large-Scale Scholarly Publication Ranking

Drahomíra Herrmannová, Petr Knoth|arXiv (Cornell University)|Nov 16, 2016

Web Data Mining and Analysis参考文献 13被引用 5

一句话总结

本文提出了一种基于引用的透明排名方法，利用微软学术图谱（Microsoft Academic Graph）对学术出版物进行排名，结合作者、期刊和引用衰减的加权得分，在 WSDM Cup 2016 中取得顶尖表现。该方法强调简洁性与可解释性，尽管在捕捉引用之外的细微影响力方面存在局限，但其性能仍优于更复杂的替代方案。

ABSTRACT

With the growing amount of published research, automatic evaluation of scholarly publications is becoming an important task. In this paper we address this problem and present a simple and transparent approach for evaluating the importance of scholarly publications. Our method has been ranked among the top performers in the WSDM Cup 2016 Challenge. The first part of this paper describes our method. In the second part we present potential improvements to the method and analyse the evaluation setup which was provided during the challenge. Finally, we discuss future challenges in automatic evaluation of papers including the use of full-texts based evaluation methods.

研究动机与目标

• 应对由于研究产出指数级增长而带来的自动评估学术出版物重要性的日益严峻挑战。
• 开发一种简单、可解释且透明的学术出版物排名方法，无需依赖复杂的机器学习模型。
• 探索引用指标之外的替代方案，同时承认其在当前评估框架中的主导地位。
• 研究整合全文分析（语义度量，semantometrics）和外部数据（替代指标，altmetrics，网络计量学，webometrics）以实现未来改进的潜力。
• 识别评估设置中的局限性，包括对引用数量的潜在偏倚，以及人类判断数据缺乏透明度。

提出的方法

• 使用六种组件得分的线性组合对出版物进行评分：出版物引用次数（s_pub）、年龄归一化引用（s_age）、出版物排名（s_pr）、作者得分（s_auth）、期刊得分（s_venue）和机构得分（s_inst）。
• 对引用应用指数时间衰减函数 f(t) = e^(-α(t_c - t))，其中 t_c 为当前年份，t 为出版年份，以降低旧引用的权重。
• 在最终得分公式中使用经验推导出的权重（非从训练数据中学习）：score(p) = 2.5·s_pub + 0.1·s_age + 1.0·s_pr + 1.0·s_auth + 0.1·s_venue + 0.01·s_inst。
• 基于其关联出版物的综合重要性计算作者和期刊得分，从而实现学术网络中影响力的传播。
• 由于缺乏真实标签的训练数据，避免使用机器学习进行权重校准，转而依赖实验调优。
• 在 WSDM Cup 2016 基准上评估该方法，使用包含六类实体和引用关系的微软学术图谱（Microsoft Academic Graph）。

实验结果

研究问题

• RQ1 基于引用衰减和实体级得分的简单、透明且无需学习的方法，是否能在学术出版物排名中超越更复杂的模型？
• RQ2 WSDM Cup 2016 挑战所使用的评估数据在多大程度上反映了人类判断对引用数量的偏倚？
• RQ3 替代指标（如替代指标、网络计量学和语义度量）在捕捉引用之外的出版物影响力方面有多有效？
• RQ4 如何改进当前的评估框架，以更好地支持新型非引用基础排名方法的发展？
• RQ5 全文分析（语义度量，semantometrics）是否能显著提升学术出版物评估效果？其集成面临哪些障碍？

主要发现

• 所提出的方法在 WSDM Cup 2016 挑战中取得前10名成绩，表明简单、透明且无需学习的方法在实际中极为有效。
• 采用指数时间衰减的引用数量（α = 0.1）作为单一组件时表现最佳，凸显了引用影响力中时间相关性的重要性。
• 使用经验调优权重的最终得分公式（例如，s_pub 的权重为 2.5，s_auth 和 s_pr 的权重为 1.0）优于其他组合，并展现出强大的泛化能力。
• 尽管探索了替代指标（如替代指标和网络计量学）等外部数据源，但未观察到显著改进，表明在当前评估框架中，引用信号仍占主导地位。
• 评估数据集可能对引用数量存在偏倚，因为仅基于引用的方法即取得高性能，且人类判断数据缺乏透明度，增加了过拟合的风险。
• 整合全文数据（语义度量，semantometrics）是未来极具前景的方向，但目前仍受限于版权限制以及 MAG 数据集中缺乏全文访问权限。