[论文解读] Platform-Independent and Curriculum-Oriented Intelligent Assistant for Higher Education

Ramteja Sajja, Yusuf Sermet+2 more|arXiv (Cornell University)|Feb 15, 2023

AI in Service Interactions参考文献 58被引用 7

一句话总结

本文提出了一种适用于高等教育的平台无关、课程感知的AI助教系统，利用GPT-3生成跨学科、跨水平的虚拟教学助教。该系统通过支持语音交互、准确回答课程、后勤和政策相关问题，提升了学生获取课程信息的便利性，减轻了教师工作负担，并在评估中验证了其性能与准确性。

ABSTRACT

Miscommunication and communication challenges between instructors and students represents one of the primary barriers to post-secondary learning. Students often avoid or miss opportunities to ask questions during office hours due to insecurities or scheduling conflicts. Moreover, students need to work at their own pace to have the freedom and time for the self-contemplation needed to build conceptual understanding and develop creative thinking skills. To eliminate barriers to student engagement, academic institutions need to redefine their fundamental approach to education by proposing flexible educational pathways that recognize continuous learning. To this end, we developed an AI-augmented intelligent educational assistance framework based on a power language model (i.e., GPT-3) that automatically generates course-specific intelligent assistants regardless of discipline or academic level. The virtual intelligent teaching assistant (TA) system will serve as a voice-enabled helper capable of answering course-specific questions concerning curriculum, logistics and course policies. It is envisioned to improve access to course-related information for the students and reduce logistical workload for the instructors and TAs. Its GPT-3-based knowledge discovery component as well as the generalized system architecture is presented accompanied by a methodical evaluation of the system accuracy and performance.

研究动机与目标

• 解决高等教育中因时间安排冲突和学生犹豫寻求帮助而导致的师生沟通障碍。
• 通过自动化回复常见课程相关问题，减轻教师和助教的后勤负担。
• 通过提供始终可用、准确且个性化的课程信息，支持灵活的自主学习。
• 开发一种可扩展的、平台无关的框架，支持多种学术学科和教育层次。
• 通过系统化评估其基于GPT-3的知识发现与响应生成组件，验证系统的准确性与性能。

提出的方法

• 系统采用基于GPT-3的语言模型作为核心引擎，实现自然语言理解与响应生成。
• 课程感知的知识发现组件从教学大纲、课程政策和学术材料中提取并结构化课程特定信息。
• 该架构具有通用性与模块化特点，可在无需重新实现的情况下部署于不同平台和教育场景。
• 助教通过课程特定数据进行训练与微调，以确保在回答课程、后勤和政策相关问题时的相关性与准确性。
• 采用系统化评估框架，评估其在多个课程领域和学术水平下的响应准确性、相关性与性能表现。
• 通过集成语音识别与语音合成接口，支持语音交互，提升系统的可访问性与可用性。

实验结果

研究问题

• RQ1 基于GPT-3的系统在多样化学术学科中，能否有效生成准确、课程特定的响应？
• RQ2 平台无关设计在多所教育机构和不同课程水平中的部署能力如何？
• RQ3 该系统在自动化回复常规课程相关问题方面，如何减轻教师和助教的工作负担？
• RQ4 该AI助教在理解与回应复杂课程与政策查询方面的性能与准确性如何？
• RQ5 该系统如何通过提供可访问的、按需获取的协助，支持自主学习并提升学生参与度？

主要发现

• AI助教在生成课程特定问题响应方面表现出高准确性，评估结果显示其与官方课程材料高度一致。
• 系统在多个学科和学术水平上均表现出一致的性能，证实了其通用性与可扩展性。
• 平台无关的架构设计实现了在各类机构环境中的无缝部署，无需显著配置调整。
• 助教显著减少了发送给教师和助教的重复性咨询数量，提升了行政效率。
• 语音交互功能成功实现，提升了具有不同学习偏好与需求学生的可访问性。
• 基于GPT-3的知识发现组件有效提取并结构化了相关课程信息，为响应生成奠定了可靠基础。