[论文解读] Using Machine Learning to Predict the Evolution of Physics Research

Wenyuan Liu|arXiv (Cornell University)|Oct 29, 2018

scientometrics and bibliometrics research参考文献 41被引用 5

一句话总结

本文提出了一种机器学习框架，利用美国物理学会（APS）出版物（1981–2010年）的书目耦合与共引网络，预测物理学研究社群的演化。通过使用Louvain方法追踪随时间演变的主题聚类，并应用群体演化发现（GED）方法结合亲密度指数，识别出关键预测特征——尤其是度数、中间性以及特定期刊的论文数量——并准确预测了聚类事件，如合并、分裂、持续存在和消散。

ABSTRACT

The advancement of science as outlined by Popper and Kuhn is largely qualitative, but with bibliometric data it is possible and desirable to develop a quantitative picture of scientific progress. Furthermore it is also important to allocate finite resources to research topics that have growth potential, to accelerate the process from scientific breakthroughs to technological innovations. In this paper, we address this problem of quantitative knowledge evolution by analysing the APS publication data set from 1981 to 2010. We build the bibliographic coupling and co-citation networks, use the Louvain method to detect topical clusters (TCs) in each year, measure the similarity of TCs in consecutive years, and visualize the results as alluvial diagrams. Having the predictive features describing a given TC and its known evolution in the next year, we can train a machine learning model to predict future changes of TCs, i.e., their continuing, dissolving, merging and splitting. We found the number of papers from certain journals, the degree, closeness, and betweenness to be the most predictive features. Additionally, betweenness increases significantly for merging events, and decreases significantly for splitting events. Our results represent a first step from a descriptive understanding of the Science of Science (SciSci), towards one that is ultimately prescriptive.

研究动机与目标

• 开发一个定量的、可预测的物理学研究社群演化模型。
• 利用机器学习识别主题聚类（TC）演化（如合并、分裂、持续存在或消散）的最具预测性的特征。
• 超越对科学知识演化的描述性分析，迈向研究资源配置的预测性框架。
• 使用历史APS出版物数据（1981–2010年）验证模型，并通过重复特征选择评估特征重要性。

提出的方法

• 从APS出版物数据（1981–2010年）构建书目耦合与共引网络。
• 应用Louvain方法在每年检测主题聚类（TCs），以代表研究社群。
• 使用群体演化发现（GED）方法，结合包含度量与亲密度指数，匹配连续年份间的TCs并标注演化事件。
• 定义前向与后向亲密度指数，以测量相邻年份间TCs的基于引用的相似性，通过社会位置（SP）引入加权引用重要性。
• 为每个TC提取超过100个特征，包括结构特征（度数、接近度、中间性）、动态特征和上下文特征（如特定期刊的论文数量）。
• 使用基于进化算法的重复特征选择训练机器学习分类器，以对事件预测进行特征排序与选择。

实验结果

研究问题

• RQ1 哪些网络与上下文特征对物理学研究中主题聚类演化的预测最具预测力？
• RQ2 结构属性（如中间性和度数）与特定演化事件（如合并或分裂）之间的相关性如何？
• RQ3 基于共享引用的亲密度指数是否能提升跨时间匹配与标注聚类演化事件的准确性？
• RQ4 新动态特征与上下文特征在多大程度上优于传统结构度量，以预测未来聚类行为？
• RQ5 基于历史数据训练的机器学习模型能否以高准确度可靠预测未来研究社群的变化（如合并、消散）？

主要发现

• 特定期刊的论文数量、度数、接近度和中间性是分类TC演化事件的最具预测力的特征。
• 在合并事件之前，中间性显著上升；在分裂事件之前，中间性显著下降，表明其具有强大的区分能力。
• 引入动态与上下文特征（如特定期刊的论文数量）后，预测性能优于仅使用传统结构特征的模型。
• 通过进化算法进行特征选择，识别出一组稳定的前10个特征，其表现优于使用全部100多个特征的模型。
• 该模型成功预测了四种关键演化类型：持续存在、消散、合并与分裂，相较于以往基于相关性的方法有明显改进。
• 结果表明，科学学（SciSci）正从描述性建模转向预测性建模，能够主动识别高增长或高影响力的科研领域。