[论文解读] Scientists' Perspectives on the Potential for Generative AI in their Fields

Meredith Ringel Morris|arXiv (Cornell University)|Apr 4, 2023

Scientific Computing and Data Management被引用 29

一句话总结

本文对来自物理、生命和社会科学的二十位科学家的定性访谈，探讨生成式AI如何增强教育、数据工作、文献综述、编码、发现与沟通，并讨论相关担忧。

ABSTRACT

Generative AI models, including large language models and multimodal models that include text and other media, are on the cusp of transforming many aspects of modern life, including entertainment, education, civic life, the arts, and a range of professions. There is potential for Generative AI to have a substantive impact on the methods and pace of discovery for a range of scientific disciplines. We interviewed twenty scientists from a range of fields (including the physical, life, and social sciences) to gain insight into whether or how Generative AI technologies might add value to the practice of their respective disciplines, including not only ways in which AI might accelerate scientific discovery (i.e., research), but also other aspects of their profession, including the education of future scholars and the communication of scientific findings. In addition to identifying opportunities for Generative AI to augment scientists' current practices, we also asked participants to reflect on concerns about AI. These findings can help guide the responsible development of models and interfaces for scientific education, inquiry, and communication.

研究动机与目标

• 调查生成式AI如何为跨学科的科学教育、研究与沟通增值。
• 确定AI可能加速数据准备、分析和编码的潜在工作流程。
• 探索AI在文献综述、假设生成、实验设计和数据收集方面的机会。
• 评估科学家在采用生成式AI进行科学研究时的担忧和信任相关考量。

提出的方法

• 对隶属于 Alphabet 的物理、生命和社会科学领域的 Ph.D.-level 科学家进行二十次半结构化访谈。
• 使用定性分析、开放式编码和亲和图法来识别新兴主题。
• 分析访谈数据，总结AI在教育、数据、文献综述、编码、发现与沟通方面的机会与担忧。

实验结果

研究问题

• RQ1 科学家如何看待生成式AI可能影响未来科学家的教育与培训？
• RQ2 在科学工作流的哪些方面（数据处理、文献综述、编码、实验设计、沟通）科学家认为AI能增值或带来风险？
• RQ3 科学家在使用生成式AI进行科学研究时，对偏见、事实性、信任以及潜在误用有哪些担忧？
• RQ4 生成式AI如何影响科学出版、同行评审，以及向公众传播的过程？

主要发现

• 生成式AI可以实现新的教育范式、AI辅助的文献综述、数据创建与清洗、AI辅助编码，以及增强写作和同行评审。
• AI可加速数据准备、标注和数据分析，并在设计实验和数据收集方面提供帮助。
• 担忧包括作弊、偏见、事实性与可信度、出版垃圾信息，以及潜在的错误信息或对关键反思的丧失。
• 对AI工具的信任取决于透明度、可解释性以及与科学方法的一致性。