[论文解读] "The teachers are confused as well": A Multiple-Stakeholder Ethics Discussion on Large Language Models in Computing Education

Kyrie Zhixuan Zhou, Zachary Kilhoffer+6 more|arXiv (Cornell University)|Jan 23, 2024

Text Readability and Simplification被引用 11

一句话总结

该论文通过与20位CS教育利益相关者的定性案例研究，探讨大语言模型在计算教育中的伦理关切、心智模型与政策需求。

ABSTRACT

Large Language Models (LLMs) are advancing quickly and impacting people's lives for better or worse. In higher education, concerns have emerged such as students' misuse of LLMs and degraded education outcomes. To unpack the ethical concerns of LLMs for higher education, we conducted a case study consisting of stakeholder interviews (n=20) in higher education computer science. We found that students use several distinct mental models to interact with LLMs - LLMs serve as a tool for (a) writing, (b) coding, and (c) information retrieval, which differ somewhat in ethical considerations. Students and teachers brought up ethical issues that directly impact them, such as inaccurate LLM responses, hallucinations, biases, privacy leakage, and academic integrity issues. Participants emphasized the necessity of guidance and rules for the use of LLMs in higher education, including teaching digital literacy, rethinking education, and having cautious and contextual policies. We reflect on the ethical challenges and propose solutions.

研究动机与目标

• 从多方利益相关者的角度，检查高等教育CS教育中LLM使用的伦理关切。
• 了解学生和教师如何在编程、写作和信息检索任务中构思并与LLMs互动。
• 开发一个心智模型框架，用于在CS教育中对LLM的使用进行分类及其伦理含义。
• 通过总结利益相关者对教育相关指南的建议，为政策与治理讨论提供信息。

提出的方法

• 对20位CS教育利益相关者（学生、教授、行业从业者）进行了深入访谈。
• 应用主题分析法（Braun and Clarke, 2012）对访谈数据进行转录和编码。
• 使用开放的归纳编码和迭代讨论来提炼主题并建立层级结构。
• 基于参与者的回答，定义并完善三模型心智模型（Writing Tool、Coding Tool、Information Tool）。
• 将ChatGPT-3.5的体验与其他AI工具进行比较，以便情境化使用和伦理。

实验结果

研究问题

• RQ1 CS教育利益相关者对高等教育中LLM使用存在哪些伦理关切？
• RQ2 不同利益相关者如何描述并在写作、编码与信息检索任务中与LLMs互动？
• RQ3 利益相关者提出哪些政策与治理机制，以支持在CS教育中对LLMs的伦理且有效使用？
• RQ4 心智模型框架如何帮助指导CS教育在LLMs方面的政策与实践？

主要发现

• 利益相关者报告称LLMs被用于写作、编码和信息检索，每种用例的伦理含义各不相同。
• 常见关切包括不准确、幻觉、偏见、隐私泄露，以及学术诚信威胁。
• 参与者倡导明确但宽松的LLM政策、数字素养教育，以及情境治理，而不是全面禁令。
• 三模型心智框架（Writing Tool、Coding Tool、Information Tool）有助于将用例映射到伦理考量与保障措施。
• 政策讨论强调治理、透明度和教育，以帮助学生为职场AI使用做准备。