[论文解读] What does ChatGPT know about natural science and engineering?

Lukas Schulze Balhorn, Jana M. Weber+4 more|arXiv (Cornell University)|Sep 18, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本研究通过收集代尔夫特理工大学教师提供的594道问题数据集，实证评估了ChatGPT在自然科学与工程领域回答问题的表现。结果显示，ChatGPT的回答平均被评为‘大部分正确’，但随着问题教育水平的提高，其表现显著下降，尤其在评估批判性思维等超越事实性知识的技能时表现更差。

ABSTRACT

ChatGPT is a powerful language model from OpenAI that is arguably able to comprehend and generate text. ChatGPT is expected to have a large impact on society, research, and education. An essential step to understand ChatGPT's expected impact is to study its domain-specific answering capabilities. Here, we perform a systematic empirical assessment of its abilities to answer questions across the natural science and engineering domains. We collected 594 questions from 198 faculty members across 5 faculties at Delft University of Technology. After collecting the answers from ChatGPT, the participants assessed the quality of the answers using a systematic scheme. Our results show that the answers from ChatGPT are on average perceived as ``mostly correct''. Two major trends are that the rating of the ChatGPT answers significantly decreases (i) as the complexity level of the question increases and (ii) as we evaluate skills beyond scientific knowledge, e.g., critical attitude.

研究动机与目标

• 评估ChatGPT在自然科学与工程领域事实准确性与推理质量。
• 探究问题的教育水平如何影响ChatGPT回答的正确性感知。
• 评估ChatGPT是否能有效展现超越机械记忆的技能，如批判性思维与科学判断力。
• 为大模型在科学、技术、工程与数学（STEM）教育与研究背景下的能力提供系统性、经教师验证的基准。

提出的方法

• 从代尔夫特理工大学五个学院的198名教师处收集了594道领域特定的问题。
• 向ChatGPT（GPT-3.5-turbo）提出问题并收集其回答以供分析。
• 采用结构化评估方案，由教师对每项回答的质量在标准化量表上进行评分。
• 从事实正确性、连贯性以及批判性思维体现等多个维度分析评分结果。
• 运用统计方法评估问题难度与所需认知技能对表现趋势的影响。
• 通过同行评审与学科专家的迭代反馈验证研究结果。

实验结果

研究问题

• RQ1 ChatGPT在不同学术复杂程度的自然科学与工程问题上，其回答的准确性如何？
• RQ2 随着问题教育水平的提高，ChatGPT回答的感知质量是否会下降？
• RQ3 ChatGPT在超越事实记忆的层面，如批判性思维与科学推理方面，能表现出多大程度的能力？
• RQ4 教师专家如何评价ChatGPT在STEM语境下回答的整体可靠性与实用性？
• RQ5 在自然科学与工程的特定领域中，ChatGPT是否存在表现显著更优或更差的情况？

主要发现

• 教师评估者平均将ChatGPT的回答评为‘大部分正确’。
• 随着问题教育水平的提高，回答质量显著下降，尤其在高级学术水平问题上更为明显。
• 在评估批判性思维、科学判断力与概念性推理等技能时，表现明显下降。
• ChatGPT在入门级问题中表现出强大的事实记忆能力，但在复杂、高阶推理任务中表现吃力。
• 即使答案在事实上正确，模型在工程与高级物理问题中的可靠性仍不稳定。
• 教师评估者对模型在错误答案上表现出的过度自信以及对知识边界的认知不足表示担忧。