[论文解读] Students' Perceptions and Preferences of Generative Artificial Intelligence Feedback for Programming

Zhengdong Zhang, Zihan Dong+4 more|arXiv (Cornell University)|Dec 17, 2023

Software Engineering Research被引用 4

一句话总结

本研究评估了学生在计算机科学导论（CS1）课程中对ChatGPT生成的Java编程作业反馈的感知。基于Shute的形成性反馈框架，研究发现：当提示中包含代码时，学生认为大语言模型（LLM）的反馈具有高度的形成性；学生更偏好具体、纠正性且清晰的反馈，且希望附带代码示例；同时，学生也提出了在语气个性化和准确性方面进行改进的建议。

ABSTRACT

The rapid evolution of artificial intelligence (AI), specifically large language models (LLMs), has opened opportunities for various educational applications. This paper explored the feasibility of utilizing ChatGPT, one of the most popular LLMs, for automating feedback for Java programming assignments in an introductory computer science (CS1) class. Specifically, this study focused on three questions: 1) To what extent do students view LLM-generated feedback as formative? 2) How do students see the comparative affordances of feedback prompts that include their code, vs. those that exclude it? 3) What enhancements do students suggest for improving AI-generated feedback? To address these questions, we generated automated feedback using the ChatGPT API for four lab assignments in the CS1 class. The survey results revealed that students perceived the feedback as aligning well with formative feedback guidelines established by Shute. Additionally, students showed a clear preference for feedback generated by including the students' code as part of the LLM prompt, and our thematic study indicated that the preference was mainly attributed to the specificity, clarity, and corrective nature of the feedback. Moreover, this study found that students generally expected specific and corrective feedback with sufficient code examples, but had diverged opinions on the tone of the feedback. This study demonstrated that ChatGPT could generate Java programming assignment feedback that students perceived as formative. It also offered insights into the specific improvements that would make the ChatGPT-generated feedback useful for students.

研究动机与目标

• 调查学生对大语言模型（LLM）生成的编程作业反馈在形成性反馈质量方面的感知。
• 比较学生在提示中包含其代码与不包含代码的反馈提示之间的偏好差异。
• 识别学生提出的可操作改进建议，以提升LLM生成反馈的有用性和清晰度。
• 评估在计算机科学导论课程中使用ChatGPT自动化生成形成性反馈的可行性。

提出的方法

• 使用ChatGPT API为四次CS1实验课作业生成自动化反馈，提示中包含或不包含学生的代码。
• 基于Shute的形成性反馈指南设计问卷，评估学生对反馈质量的感知。
• 对开放性问卷回答进行主题分析，以理解学生对反馈偏好的原因及改进建议。
• 数据收集自2023年夏季美国一所公立大学的58名计算机科学专业本科生。
• 使用定量分析评估认为反馈具有形成性的学生比例，以70%作为主观基准。
• 通过分析学生对语气及其影响的开放性问题回答，探索反馈语气的偏好。

实验结果

研究问题

• RQ1 根据Shute的指导原则，学生在多大程度上认为LLM生成的反馈具有形成性？
• RQ2 学生在感知质量与实用性方面，如何比较包含其代码与不包含其代码的提示所生成的反馈？
• RQ3 学生建议对LLM生成反馈进行哪些具体改进，以增强其清晰度、具体性和纠正性？
• RQ4 学生的反馈偏好是否因表现水平（如满分与低分）而有所不同？
• RQ5 反馈语气在学生感知中扮演何种角色？是否存在对积极鼓励性语气与批判性语气的偏好差异？

主要发现

• 70%或以上的学生认为LLM生成的反馈具有形成性，符合Shute对有效形成性反馈的标准。
• 学生强烈偏好在提示中包含其代码所生成的反馈，理由是反馈更具针对性、更清晰且具有更强的纠正价值。
• 学生一致要求提供更具体、更清晰且包含更多示例的反馈，尤其是提供正确的代码片段以指导改进。
• 在语气偏好上存在分歧：117名学生中有3人偏好积极鼓励的语气，另有5人偏好更批判性、以错误为中心的语气。
• 获得满分的学生更关注反馈是否能超越教学大纲内容，而低分学生则更希望获得外部学习资源。
• 学生指出LLM在理解上下文和学生思维过程方面存在局限，建议提升模型对学生个体需求的认知能力。