[论文解读] Predicting the Future of AI with AI: High-quality link prediction in an exponentially growing knowledge network

Mario Krenn, Lorenzo Buffoni+14 more|arXiv (Cornell University)|Sep 23, 2022

Bioinformatics and Genomic Networks参考文献 57被引用 7

一句话总结

本文提出了 Science4Cast，一个通过建模源自超过10万篇人工智能研究论文的语义知识网络的演化过程，以预测未来人工智能研究方向的基准。与端到端学习不同，该研究采用手工设计的网络特征，最佳模型在预测高影响力未来连接时AUC得分超过99%，表明在此任务中，精心设计的特征优于纯深度学习方法。

ABSTRACT

A tool that could suggest new personalized research directions and ideas by taking insights from the scientific literature could significantly accelerate the progress of science. A field that might benefit from such an approach is artificial intelligence (AI) research, where the number of scientific publications has been growing exponentially over the last years, making it challenging for human researchers to keep track of the progress. Here, we use AI techniques to predict the future research directions of AI itself. We develop a new graph-based benchmark based on real-world data -- the Science4Cast benchmark, which aims to predict the future state of an evolving semantic network of AI. For that, we use more than 100,000 research papers and build up a knowledge network with more than 64,000 concept nodes. We then present ten diverse methods to tackle this task, ranging from pure statistical to pure learning methods. Surprisingly, the most powerful methods use a carefully curated set of network features, rather than an end-to-end AI approach. It indicates a great potential that can be unleashed for purely ML approaches without human knowledge. Ultimately, better predictions of new future research directions will be a crucial component of more advanced research suggestion tools.

研究动机与目标

• 通过建模语义知识网络的时间演化，开发一个用于预测人工智能未来研究方向的基准。
• 应对人工智能文献的指数级增长所带来的挑战，这些增长已超出人类研究人员追踪新兴关联的能力。
• 评估从统计方法到深度学习等多种方法在预测人工智能中新型高影响力研究链接方面的表现。
• 探讨手工设计特征与端到端学习在预测科学演化方面孰优孰劣。
• 为人工智能驱动的研究建议工具奠定基础，以识别跨学科、高影响力的科研机遇。

提出的方法

• 从1992年至2020年间的143,000篇arXiv人工智能、机器学习及相关领域的论文中构建了一个动态语义网络，使用NLP工具（如RAKE）提取64,000个概念节点。
• 当两个概念在某篇论文的标题或摘要中共同出现时，即在它们之间建立边，形成一个随时间演化的网络，共包含1800万条边。
• 开发了十种不同方法：五种基于手工设计的网络特征（如共同邻居、Jaccard指数、优先附件），以及五种基于学习嵌入的方法（如ProNE、Node2Vec、GCN、GAT、GNN-MLP）。
• 在预测未来链接的任务上训练并评估模型——具体而言，预测哪些未连接的概念对将在未来论文中共同出现，使用为期三年的预测窗口。
• 以AUC和AUPRC为主要评估指标，重点关注高频未来链接（出现三次或以上）。
• 对基于嵌入的模型（如Node2Vec中的p和q参数）进行超参数优化，并与基于特征的基线模型进行性能比较。

实验结果

研究问题

• RQ1 能否从科学文献中提取的知识网络准确建模人工智能研究趋势随时间的演化？
• RQ2 在预测人工智能中未来研究关联方面，手工设计的网络特征是否优于端到端学习的表示？
• RQ3 不同统计与机器学习模型在大规模、真实世界动态语义网络上的预测性能如何？
• RQ4 未来链接的频率（如出现三次或以上）如何影响预测准确性？
• RQ5 此类系统在多大程度上可支持为科学家开发人工智能驱动的研究建议工具？

主要发现

• 表现最佳的模型在预测高影响力未来链接（出现三次或以上）时，AUC得分超过99%，表明人工智能研究演化的模式近乎确定性。
• 采用精心设计的手工特征的模型显著优于端到端学习方法，表明人类设计的特征在该任务中依然极为有效。
• ProNE图嵌入方法在性能上优于Node2Vec，尤其在超参数敏感性方面表现更优，归因于其结构归纳偏差。
• 预测未来研究方向的任务具有高度可行性，即使在大规模、真实世界科学文献数据上也表现出强劲性能。
• Science4Cast基准成功捕捉了人工智能研究演化的动态特性，并支持多样化的模型评估。
• 计算资源限制导致部分模型（如M6）无法完全部署，特别是针对高阶特征，凸显了大规模网络分析中的可扩展性挑战。