[论文解读] Tailoring Education with GenAI: A New Horizon in Lesson Planning

Kostas Karpouzis, Dimitris Pantazatos+2 more|arXiv (Cornell University)|Feb 12, 2024

Open Education and E-Learning被引用 7

一句话总结

本文提出一个基于 GenAI 的学习情景助手，使用交互式 mega-prompts 根据多样化学习者定制课程计划，并进行跨语言与教育水平的混合方法评估。

ABSTRACT

The advent of Generative AI (GenAI) in education presents a transformative approach to traditional teaching methodologies, which often overlook the diverse needs of individual students. This study introduces a GenAI tool, based on advanced natural language processing, designed as a digital assistant for educators, enabling the creation of customized lesson plans. The tool utilizes an innovative feature termed 'interactive mega-prompt,' a comprehensive query system that allows educators to input detailed classroom specifics such as student demographics, learning objectives, and preferred teaching styles. This input is then processed by the GenAI to generate tailored lesson plans. To evaluate the tool's effectiveness, a comprehensive methodology incorporating both quantitative (i.e., % of time savings) and qualitative (i.e., user satisfaction) criteria was implemented, spanning various subjects and educational levels, with continuous feedback collected from educators through a structured evaluation form. Preliminary results show that educators find the GenAI-generated lesson plans effective, significantly reducing lesson planning time and enhancing the learning experience by accommodating diverse student needs. This AI-driven approach signifies a paradigm shift in education, suggesting its potential applicability in broader educational contexts, including special education needs (SEN), where individualized attention and specific learning aids are paramount

研究动机与目标

• 通过 GenAI 驱动的教案规划促进个性化教育。
• 开发一种交互式提示方法论以自定义学习情景。
• 通过定量和定性指标评估 GenAI 生成的教案的有效性。

提出的方法

• 引入一个交互式的双向提示工作流以引导 GenAI 进行教案创作。
• 定义位置提示、交互式提示和后续提示以收集详细的用户需求。
• 在最终用户反馈下迭代开发与评估教案。
• 应用语言与主题分析（spaCy、LDA）来评估生成内容。
• 在多种大型语言模型（ChatGPT 3.5、ChatGPT 4、Llama 变体、Google Bard）和语言（英语、希腊语）上进行测试。

实验结果

研究问题

• RQ1 GenAI 在生成符合多样学习者需求的定制化教案方面有多有效？
• RQ2 一个交互式提示框架是否能够在各科目和层次上生成高质量、符合标准的教育内容？
• RQ3 在语言和模型之间，GenAI 在教育内容生成上的性能差异是什么？

主要发现

GenAI 模型	ChatGPT 3.5 (09/2023)	ChatGPT 4 (09/2023)	Llama 2 7B (07/2023)	Llama 2 13B (07/2023)	Llama 2 70B (07/2023)	Google Bard (2023.09.27)
相关性	4.66	5	4	4.66	5	4
准确性	3.66	4.66	4	4	3	4
创造力	3.33	4.66	4.33	5	5	3.33
参与度	3.33	5	4	4.33	5	3
个性化	3.66	5	3.66	4.33	5	3
连贯性	5	5	4.66	5	5	3
响应时间	4.66	3.66	4.66	5	3.33	5

• GenAI 生成的教案显著减少规划时间并满足多样化需求。
• 互动提示方法论实现了以对话为主、以用户为中心的教案设计过程。
• 跨模型评估显示性能随模型和语言而异，较新的模型（ChatGPT 4、Llama 70B）在英语和希腊语的相关性与个性化方面通常得分较高。
• 语言分析（spaCy、LDA）提供对回答中内容质量和主题覆盖的见解。
• 不同模型在资源准确性（如不存在的链接）方面存在差异，强调需要人工核验。