[论文解读] Quantifying the Benefit of Artificial Intelligence for Scientific Research

Jian Gao, Dashun Wang|arXiv (Cornell University)|Apr 17, 2023

Artificial Intelligence in Healthcare and Education被引用 8

一句话总结

该论文建立了一个衡量框架，用以量化直接的 AI 使用与科学研究中的潜在 AI 益处，应用自然语言处理分析 7460 万篇出版物和 710 万项专利，揭示了 AI 的广泛使用、引文溢价以及不平等影响。

ABSTRACT

The ongoing artificial intelligence (AI) revolution has the potential to change almost every line of work. As AI capabilities continue to improve in accuracy, robustness, and reach, AI may outperform and even replace human experts across many valuable tasks. Despite enormous effort devoted to understanding the impact of AI on labor and the economy and AI's recent successes in accelerating scientific discovery and progress, we lack a systematic understanding of how AI advances may benefit scientific research across disciplines and fields. Here, drawing from the literature on the future of work and the science of science, we develop a measurement framework to estimate both the direct use of AI and the potential benefit of AI in scientific research, applying natural language processing techniques to 74.6 million publications and 7.1 million patents. We find that the use of AI in research is widespread throughout the sciences, growing especially rapidly since 2015, and papers that use AI exhibit a citation premium, more likely to be highly cited both within and outside their disciplines. Moreover, our analysis reveals considerable potential for AI to benefit numerous scientific fields, yet a notable disconnect exists between AI education and its research applications, highlighting a mismatch between the supply of AI expertise and its demand in research. Lastly, we examine demographic disparities in AI's benefits across scientific disciplines and find that disciplines with a higher proportion of women or Black scientists tend to be associated with less benefit, suggesting that AI's growing impact on research may further exacerbate existing inequalities in science. As the connection between AI and scientific research deepens, our findings may become increasingly important, with implications for the equity and sustainability of the research enterprise.

研究动机与目标

• 系统性理解 AI 进展如何影响跨学科的科学研究。
• 开发一个测量框架，将科学中的直接 AI 使用与潜在 AI 益处区分开来。
• 将自然语言处理应用于大规模出版物和专利数据，以量化 AI 的存在及其影响。
• 评估 AI 供给与研究需求之间在人口统计与教育方面的不匹配。
• 检验 AI 益处在各科学学科中的公平性含义。

提出的方法

• 定义一个框架，以将研究中的直接 AI 使用与 AI 可能带来的更广泛益处区分开来。
• 使用自然语言处理来分析 7460 万篇出版物和 710 万项专利的 AI 相关内容。
• 量化 AI 使用随时间的增长，尤其自 2015 年以来。
• 衡量 AI 使用论文的引文溢价（在同领域内外）。
• 评估 AI 益处在学科与人口统计学上的模式（如性别和种族差异）。

实验结果

研究问题

• RQ1 AI 在跨学科的科学研究中有多广泛的使用？
• RQ2 使用 AI 的论文相较于非 AI 论文的引文影响（溢价）是多少？
• RQ3 AI 对不同科学领域的潜在益处为何，AI 教育供给与研究应用之间的差距在哪里？
• RQ4 AI 益处如何在人口群体和学科间变化，是否存在公平性问题？

主要发现

• AI 在研究中的使用在各科学领域广泛存在，并自 2015 年以来迅速增长。
• 使用 AI 的论文具有引文溢价，并且在本领域内外更有可能被高度引用。
• AI 对许多领域具有显著的潜在益处，但 AI 教育供给与研究需求之间存在错配。
• 在学科间 AI 益处存在差异，女性或黑人科学家比例较高的群体相关受益较少。
• 日益扩大的 AI 与科学的联系对研究机构的公平性与可持续性具有影响。