[论文解读] On the Educational Impact of ChatGPT: Is Artificial Intelligence Ready to Obtain a University Degree?

Kamil Malinka, Martin Perešíni+3 more|arXiv (Cornell University)|Mar 20, 2023

Artificial Intelligence in Healthcare and Education被引用 43

一句话总结

本文评估 ChatGPT 在应对大学水平的计算机安全任务方面的能力，分析滥用与辅助潜力，并讨论必要的教育适应措施。

ABSTRACT

In late 2022, OpenAI released a new version of ChatGPT, a sophisticated natural language processing system capable of holding natural conversations while preserving and responding to the context of the discussion. ChatGPT has exceeded expectations in its abilities, leading to extensive considerations of its potential applications and misuse. In this work, we evaluate the influence of ChatGPT on university education, with a primary focus on computer security-oriented specialization. We gather data regarding the effectiveness and usability of this tool for completing exams, programming assignments, and term papers. We evaluate multiple levels of tool misuse, ranging from utilizing it as a consultant to simply copying its outputs. While we demonstrate how easily ChatGPT can be used to cheat, we also discuss the potentially significant benefits to the educational system. For instance, it might be used as an aid (assistant) to discuss problems encountered while solving an assignment or to speed up the learning process. Ultimately, we discuss how computer science higher education should adapt to tools like ChatGPT.

研究动机与目标

• 评估 ChatGPT 在解决大学计算机安全任务（考试、论文、编程、CTF）中的有效性。
• 检验从复制输出到将 AI 作为助手使用的不同 AI 使用水平。
• 讨论教育的积极与消极影响，并提出对课程和评估的改编建议。
• 探讨高等教育中 AI 辅助学习的检测、预防与采用策略。

提出的方法

• 定义考试类别（笔试、学期论文、编程作业、CTF）及评分方案。
• 建立三种 AI 使用模式（Copy&Paste、Interpretation、Assistant），并将其映射到任务类型。
• 将 ChatGPT 应用于四门安全领域课程中的基线真实捷克学生作业集。
• 将 AI 生成的结果与历史学生表现进行比较以评估相对优劣。
• 将 GPTZero 作为检测工具并讨论语言特定的检测局限性（英语 vs 捷克语）。
• 评估不同评估权重课程的总体及格率影响。

Figure 1 . Trend in Google searches for chatbot and AI-related queries. Retrieved from Google Trends 2 2 2 Accessed 12.1.2023, https://trends.google.com/trends/explore?date=today%203-m&q=chatgpt,openai,chatbot,AI .

实验结果

研究问题

• RQ1 在不同考试形式下，ChatGPT 是否能够达到与平均学生相当或更高的分数？
• RQ2 不同 AI 使用模式如何影响表现和学习结果？
• RQ3 AI 辅助学习对教育质量与诚信的积极与消极影响是什么？
• RQ4 需要哪些措施（检测、预防、采用）来使高等教育适应 AI 工具？
• RQ5 在保持严谨的同时，将 AI 作为教育助理以加速学习是否可行？

主要发现

• ChatGPT 可以在完整题型考试中给出正确答案，但回答更为广泛、不够具体且存在语境敏感性问题。
• 在测试中，Copy&Paste 模式可能导致结果波动，严格的评分会惩罚错误答案；Interpretation 模式提高了质量。
• 在某些情况下，AI 在学期论文上的表现不如人类，尽管 AI 辅助写作在某些任务（如威胁建模、描述）可以节省时间。
• 对于预定义代码，ChatGPT 可以快速生成代码并完成任务，但仅复制输出会降低深入理解和学习。
• 小型项目和编程任务显示 ChatGPT 可以实现算法并生成可执行代码，但学习深度可能受到影响。
• 总体而言，ChatGPT 可以通过课程，取决于权重，在某些情况下在测试中以 Copy&Paste 模式使用时会有轻微的损失。
• 该研究突显了显著的教育风险（抄袭、基础知识丧失）以及潜在收益（AI 作为学习助手、理解加速）。
• 建议包括检测/预防工具、里程碑式评估，以及将 AI 作为课程辅助以促进批判性思维和解决问题的能力。

Figure 2 . The results obtained by scoring AI outputs in multiple evaluation categories with comparison to a genuine sample of student scores.