[论文解读] The Pace of Artificial Intelligence Innovations: Speed, Talent, and Trial-and-Error

Xuli Tang, Xin Li+3 more|arXiv (Cornell University)|Sep 3, 2020

Artificial Intelligence in Healthcare and Education参考文献 64被引用 13

一句话总结

本文提出了一套新颖的框架，包含三个指标——平均时间间隔（ATI）、创新速度（IS）和更新速度（US）——利用来自arXiv和Semantic Scholar的数据，衡量人工智能创新的加速进程。研究发现，2019年AI预印本的提交速度超过每小时3篇，相较于1994年增长了148倍，深度学习相关预印本每0.87小时就有一篇发布，研究人员以每小时5.26人的速度加入该领域，凸显了由人才与快速试错迭代共同驱动的前所未有的创新速度。

ABSTRACT

Innovations in artificial intelligence (AI) are occurring at speeds faster than ever witnessed before. However, few studies have managed to measure or depict this increasing velocity of innovations in the field of AI. In this paper, we combine data on AI from arXiv and Semantic Scholar to explore the pace of AI innovations from three perspectives: AI publications, AI players, and AI updates (trial and error). A research framework and three novel indicators, Average Time Interval (ATI), Innovation Speed (IS) and Update Speed (US), are proposed to measure the pace of innovations in the field of AI. The results show that: (1) in 2019, more than 3 AI preprints were submitted to arXiv per hour, over 148 times faster than in 1994. Furthermore, there was one deep learning-related preprint submitted to arXiv every 0.87 hours in 2019, over 1,064 times faster than in 1994. (2) For AI players, 5.26 new researchers entered into the field of AI each hour in 2019, more than 175 times faster than in the 1990s. (3) As for AI updates (trial and error), one updated AI preprint was submitted to arXiv every 41 days, with around 33% of AI preprints having been updated at least twice in 2019. In addition, as reported in 2019, it took, on average, only around 0.2 year for AI preprints to receive their first citations, which is 5 times faster than 2000-2007. This swift pace in AI illustrates the increase in popularity of AI innovation. The systematic and fine-grained analysis of the AI field enabled to portrait the pace of AI innovation and demonstrated that the proposed approach can be adopted to understand other fast-growing fields such as cancer research and nano science.

研究动机与目标

• 量化人工智能创新在时间、人才和迭代发展方面的加速进程。
• 解决在快速演进的研究领域中缺乏系统性指标来衡量AI创新速度的问题。
• 利用预印本和研究人员活动数据，构建一个数据驱动的框架，以捕捉人工智能领域实时的创新动态。
• 展示该框架在其他快速发展的科学领域（如癌症研究和纳米科学）中的适用性。

提出的方法

• 本研究整合了来自arXiv和Semantic Scholar的数据，追踪AI预印本、研究人员加入以及预印本更新随时间的变化。
• 提出平均时间间隔（ATI）指标，用于衡量连续AI预印本提交之间的平均时间。
• 将创新速度（IS）定义为ATI的倒数，表示新AI研究成果的产出速率。
• 引入更新速度（US）指标，量化预印本修订的频率，以捕捉AI开发过程中的试错机制。
• 通过分析预印本提交和引用模式的时间序列特征，评估创新速度与反馈回路。
• 将该框架应用于1994年至2019年的趋势分析，比较深度学习等AI子领域的发展速度。

实验结果

研究问题

• RQ1 从1994年到2019年，AI预印本的提交速率如何变化？这反映了怎样的创新速度？
• RQ2 有多少新研究人员加入AI领域？这一趋势随时间如何演变？
• RQ3 AI预印本的更新频率如何？这揭示了AI研究中试错过程的何种特征？
• RQ4 AI预印本在发表后多久被首次引用？这一引用速度随时间如何变化？
• RQ5 所提出的指标（ATI、IS、US）在多大程度上可用于比较不同科学领域的创新动态？

主要发现

• 2019年，arXiv上每小时提交的AI预印本超过3篇，相较于1994年增长了148倍。
• 2019年，与深度学习相关的预印本每0.87小时提交一篇，较1994年的基准增长了1,064倍。
• 2019年，平均每小时有5.26名新AI研究人员加入该领域，比20世纪90年代快了175倍以上。
• 2019年，arXiv每41天就有一篇AI预印本被更新，约33%的AI预印本至少被修订两次。
• 2019年，AI预印本的首次引用平均时间缩短至0.2年，比2000–2007年的平均值快了五倍。
• 本研究证明，所提出的框架可推广应用于其他快速增长的科学领域，如癌症研究和纳米科学。