[论文解读] "With Great Power Comes Great Responsibility!": Student and Instructor Perspectives on the influence of LLMs on Undergraduate Engineering Education

Ishika Joshi, Ritvik Budhiraja+8 more|arXiv (Cornell University)|Sep 19, 2023

Ferroelectric and Negative Capacitance Devices被引用 7

一句话总结

本研究通过调查和访谈，探讨了印度大学本科工程专业学生和教师对ChatGPT的看法。研究发现，学生和教师在学术任务中广泛使用ChatGPT，普遍认为其在学习支持方面具有显著优势，但同时也面临信任、提示工程和学术诚信方面的重大挑战，因此提出应负责任地将大语言模型整合到工程教育中。

ABSTRACT

The rise in popularity of Large Language Models (LLMs) has prompted discussions in academic circles, with students exploring LLM-based tools for coursework inquiries and instructors exploring them for teaching and research. Even though a lot of work is underway to create LLM-based tools tailored for students and instructors, there is a lack of comprehensive user studies that capture the perspectives of students and instructors regarding LLMs. This paper addresses this gap by conducting surveys and interviews within undergraduate engineering universities in India. Using 1306 survey responses among students, 112 student interviews, and 27 instructor interviews around the academic usage of ChatGPT (a popular LLM), this paper offers insights into the current usage patterns, perceived benefits, threats, and challenges, as well as recommendations for enhancing the adoption of LLMs among students and instructors. These insights are further utilized to discuss the practical implications of LLMs in undergraduate engineering education and beyond.

研究动机与目标

• 了解印度本科工程教育中大型语言模型（LLMs）如ChatGPT的当前使用模式、感知优势及面临的挑战。
• 识别LLM使用相关的风险与伦理问题，特别是与学术诚信和对生成内容的过度依赖有关的问题。
• 从学生和教师处收集切实可行的建议，以设计负责任、高效且符合教育学原理的LLM驱动教育工具。
• 为教学实践和评估方法的重构提供依据，使其与LLM在工程教育中的能力与局限相适应。

提出的方法

• 开展了一项混合方法研究，涵盖1306份学生问卷、112次学生访谈以及27次教师访谈，调查对象来自印度三所工程大学。
• 收集了在计算机科学、电气工程、机械工程、土木工程、化学工程、生物工程以及以人为本的设计等多样化工程学科中LLM的使用数据。
• 采用主题分析法分析定性数据，识别用户经验、挑战和建议中的重复性模式。
• 探讨了用户交互中的挑战，如提示无效、缺乏个性化以及对LLM输出中“机械式”回应的感知。
• 提出了包括上下文学习、分步推理、可解释性功能和置信度标记在内的设计策略，以提升LLM在教育中的可用性。
• 建议开发多模态提示手册、应用内反馈机制以及插件扩展，以增强用户交互性和可访问性。

(a)

实验结果

研究问题

• RQ1 RQ1：学生和教师在教育场景中使用ChatGPT的模式及其感知优势是什么？
• RQ2 RQ2：学生和教师在教育场景中使用ChatGPT时面临哪些挑战？
• RQ3 RQ3：教师如何看待ChatGPT对本科教育的影响？
• RQ4 RQ4：ChatGPT在哪些方面可以被有效利用以协助教师和学生提升学习效果和评估质量？

主要发现

• 超过70%的受访学生表示在课程作业中使用过ChatGPT，包括问题解决、代码生成和概念解释。
• 学生频繁指出，ChatGPT在理解复杂工程概念方面非常有帮助，尤其是在编程和理论课程中。
• 大量学生对LLM生成内容的真实性与准确性表示担忧，尤其是在技术性与数学性较强的语境中。
• 教师反馈态度不一：部分教师认为LLM是宝贵的教学辅助工具，但也有教师担忧过度依赖可能削弱批判性思维与问题解决能力。
• 学生和教师均强调需要更优的提示策略与培训，许多用户因提示不清晰或回应重复而感到沮丧。
• 本研究识别出对可解释性功能的强烈需求，例如置信度评分和分步推理，以提升LLM交互中的信任度与学习成效。

(b)