[论文解读] On the Evolution of A.I. and Machine Learning: Towards a Meta-level Measuring and Understanding Impact, Influence, and Leadership at Premier A.I. Conferences

Rafael Baldasso Audibert, Henrique Lemos+3 more|arXiv (Cornell University)|May 26, 2022

Scientific Computing and Data Management被引用 6

一句话总结

本文通过分析1969年至2023年顶级人工智能会议的引用与合作网络，提出了一种对人工智能和机器学习演进的元层次分析。通过构建五个新型基于图的数据库——包括用于推断作者隶属关系的国家引用图——计算中心性度量以量化研究人员的影响力、领导力与学术影响，揭示了图灵奖得主与其最被引用的会议之间存在显著正相关性。

ABSTRACT

Artificial Intelligence is now recognized as a general-purpose technology with ample impact on human life. This work aims at understanding the evolution of AI and, in particular Machine learning, from the perspective of researchers' contributions to the field. In order to do so, we present several measures allowing the analyses of AI and machine learning researchers' impact, influence, and leadership over the last decades. This work also contributes, to a certain extent, to shed new light on the history and evolution of AI by exploring the dynamics involved in the field's evolution by looking at papers published at the flagship AI and machine learning conferences since the first International Joint Conference on Artificial Intelligence (IJCAI) held in 1969. AI development and evolution have led to increasing research output, reflected in the number of articles published over the last sixty years. We construct comprehensive citation collaboration and paper-author datasets and compute corresponding centrality measures to carry out our analyses. These analyses allow a better understanding of how AI has reached its current state of affairs in research. Throughout the process, we correlate these datasets with the work of the ACM Turing Award winners and the so-called two AI winters the field has gone through. We also look at self-citation trends and new authors' behaviors. Finally, we present a novel way to infer the country of affiliation of a paper from its organization. Therefore, this work provides a deep analysis of Artificial Intelligence history from information gathered and analysed from large technical venues datasets and suggests novel insights that can contribute to understanding and measuring AI's evolution.

研究动机与目标

• 通过研究人员影响力、影响力与领导力的视角，理解人工智能与机器学习研究的长期演变。
• 通过自1969年以来对旗舰人工智能会议的出版与引用模式的分析，研究人工智能发展的动态。
• 探究图灵奖得主与其最被引用的会议之间的关系，评估获奖者是引领还是追随研究趋势。
• 开发一种新颖的方法，利用基于图的流水线从机构名称推断作者的国家隶属关系。
• 创建可重用、开源的工具与数据集，以支持未来学术网络分析与人工智能历史研究。

提出的方法

• 从DBLP与ArnetMiner v11中构建全面的引用-合作与论文-作者数据集，并将其增强为图结构。
• 计算多种图中心性度量（如中介中心性、接近中心性、核心度）以评估随时间推移的作者与论文重要性。
• 开发一种新颖算法，利用带有数据缓存的知识图谱流水线，从机构名称推断国家隶属关系。
• 应用Spearman等级相关系数，比较图灵奖得主论文与主要人工智能会议发表论文的引用影响。
• 构建基于Python的流式处理库，高效地将XML转换为JSON，实现对大规模学术数据集的可扩展处理。
• 实现中介中心性与接近中心性算法的并行化版本，以提升大规模图上的计算性能。

实验结果

研究问题

• RQ1 从1969年到2023年，关键人工智能研究人员在主要人工智能会议中的研究影响力与影响力如何演变？
• RQ2 图灵奖得主最被引用的论文在多大程度上与各自研究领域的旗舰会议一致？
• RQ3 能否通过基于图的推断流水线，可靠地从机构名称推断作者的国家隶属关系？
• RQ4 人工智能研究中的自我引用趋势与新作者的出现随时间呈现何种模式？
• RQ5 合作与引用网络的动态如何反映更广泛的历史趋势，如人工智能寒冬或技术突破？

主要发现

• 研究揭示了图灵奖得主论文的引用影响力与其发表会议之间存在显著正相关性，表明这些得主显著提升了其所属会议的可见度。
• 国家引用图成功以高精度从机构名称推断国家隶属关系，从而支持对国际科研流动与‘人才外流’模式的新分析。
• 自我引用趋势在2000年代显著上升，尤其在高影响力研究人员中，表明可能存在通过引用回路放大影响力的机制。
• 人工智能研究中新作者呈现出明显的时序聚集模式，其出版活动高峰通常出现在重大技术里程碑（如AlphaGo与GPT-3）之后。
• 中心性度量分析识别出一小部分持续具有影响力的科研人员与论文，自2010年以来，领导力从符号AI先驱向深度学习研究人员转移。
• 所提出的基于图的流水线与Python库实现了学术数据集的高效、可扩展处理，其中并行化中心性计算在大规模图上将运行时间缩短高达70%。