[论文解读] Oil & Water? Diffusion of AI Within and Across Scientific Fields

Eamon Duede, W. W. Dolan+3 more|arXiv (Cornell University)|May 24, 2024

Explainable Artificial Intelligence (XAI)被引用 9

一句话总结

本论文实证评估AI参与度在20个领域（1985–2022）中的扩散，利用数百万篇论文，发现AI参与工作增长了13倍并在各类期刊/场景广泛扩散，但在领域内存在AI参与与非AI参与研究之间的语义张力。

ABSTRACT

This study empirically investigates claims of the increasing ubiquity of artificial intelligence (AI) within roughly 80 million research publications across 20 diverse scientific fields, by examining the change in scholarly engagement with AI from 1985 through 2022. We observe exponential growth, with AI-engaged publications increasing approximately thirteenfold (13x) across all fields, suggesting a dramatic shift from niche to mainstream. Moreover, we provide the first empirical examination of the distribution of AI-engaged publications across publication venues within individual fields, with results that reveal a broadening of AI engagement within disciplines. While this broadening engagement suggests a move toward greater disciplinary integration in every field, increased ubiquity is associated with a semantic tension between AI-engaged research and more traditional disciplinary research. Through an analysis of tens of millions of document embeddings, we observe a complex interplay between AI-engaged and non-AI-engaged research within and across fields, suggesting that increasing ubiquity is something of an oil-and-water phenomenon -- AI-engaged work is spreading out over fields, but not mixing well with non-AI-engaged work.

研究动机与目标

• 测量1985到2022年20个领域中AI参与论文的比例。
• 评估在同一领域内AI参与在不同出版渠道/刊 venues 的扩散。
• 分析日益普及与AI参与论文与非AI参与论文在语义上的变化之间的关系。
• 提供对AI集成如何重塑学术工作的领域和政策相关洞见。

提出的方法

• 通过基于关键词的分类器识别AI参与论文并结合专家意见细化，构建分类论文数据集。
• 通过将AI参与状态与SPECTER2文档嵌入相联系，创建分类嵌入数据集。
• 通过计算基于Gini的普及度指标(Ubiquity = 1 − Gini)来量化各领域的普及度。
• 使用基于质心的余弦相似度在AI参与与非AI参与论文之间，以及CS AI论文参考质心，评估语义轨迹。
• 使用面板固定效应回归，将语义相似度的变化与普及度的变化联系起来，并包含交互项。

实验结果

研究问题

• RQ1 RQ1：跨领域的AI参与研究比例随时间有何变化？
• RQ2 RQ2：AI参与在各个领域内跨出版渠道的扩散程度如何？
• RQ3 RQ3：AI参与的普及度变化与领域语义特征的变化之间有何关联？

主要发现

• AI参与论文在所有领域都显著上升，1985–2022年总体增加了1293%。
• 在2022年，AI参与论文在classified-papers-recent数据集中约占9%。
• 普及度（跨场所扩散）随时间在所有领域增加，表明学科内部分布更广。
• AI参与论文在语义上与CS AI论文更为相似，优于非AI参与论文；但同一领域内AI与非AI的相似性总体下降，呈现语义张力。
• 固定效应分析显示，AI_similarity或与CS AI论文的non_AI_similarity的增加与更高的普及度相关，但交互项和内部相似性表明存在复杂的“油水不相容”动力学，限制混合。