[论文解读] SPL: A Socratic Playground for Learning Powered by Large Language Model

Liang Zhang, Jionghao Lin+3 more|arXiv (Cornell University)|Jun 20, 2024

Innovative Teaching and Learning MethodsPsychology被引用 3

一句话总结

本文介紹了SPL，這是一套由GPT-4驅動的對話式智能導師系統，採用蘇格拉底式教學法，透過互動式、多輪導師對話培養批判性思維。透過先進的提示工程，SPL自動化課程設計，提供適應性與個人化的學習體驗，初步測試結果顯示在作文寫作任務中提升了學習者參與度與批判性思維能力。

ABSTRACT

Dialogue-based Intelligent Tutoring Systems (ITSs) have significantly advanced adaptive and personalized learning by automating sophisticated human tutoring strategies within interactive dialogues. However, replicating the nuanced patterns of expert human communication remains a challenge in Natural Language Processing (NLP). Recent advancements in NLP, particularly Large Language Models (LLMs) such as OpenAI's GPT-4, offer promising solutions by providing human-like and context-aware responses based on extensive pre-trained knowledge. Motivated by the effectiveness of LLMs in various educational tasks (e.g., content creation and summarization, problem-solving, and automated feedback provision), our study introduces the Socratic Playground for Learning (SPL), a dialogue-based ITS powered by the GPT-4 model, which employs the Socratic teaching method to foster critical thinking among learners. Through extensive prompt engineering, SPL can generate specific learning scenarios and facilitates efficient multi-turn tutoring dialogues. The SPL system aims to enhance personalized and adaptive learning experiences tailored to individual needs, specifically focusing on improving critical thinking skills. Our pilot experimental results from essay writing tasks demonstrate SPL has the potential to improve tutoring interactions and further enhance dialogue-based ITS functionalities. Our study, exemplified by SPL, demonstrates how LLMs enhance dialogue-based ITSs and expand the accessibility and efficacy of educational technologies.

研究动机与目标

• 開發一種對話式智能導師系統（ITS），透過蘇格拉底式教學法模擬專家人類導師的教學行為。
• 利用大型語言模型（LLMs），特別是GPT-4，自動化課程設計，並實現適應性與個人化的學習體驗。
• 透過由wh-問題（何謂？為何？如何？誰？何時？）引導的互動式、多輪對話，提升學習者的批判性思維與深度理解。
• 減少對手動課程設計與預定規則的依賴，利用LLMs實現動態、情境感知的導師教學。
• 評估系統在提升學習者參與度與作文寫作任務教育成效方面的有效性。

提出的方法

• 系統使用GPT-4並結合先進的提示工程，生成情境感知、類似人類的導師回應。
• 透過提出開放式wh-問題啟動對話，應用蘇格拉底式教學法，激發學習者的自我反思與批判性思維。
• 使用標準化提示模板自動化生成特定學習情境與教育背景下的課程內容。
• 介面整合教育原理（例如「最近發展區」理論），支援多輪對話，逐步引導學習者。
• 提示策略包括思維鏈（chain-of-thought）與少樣本提示（few-shot prompting），以提升推理能力與回應品質。
• 系統透過靈活的生成式AI能力，適應多樣化的學習者特徵與教育領域。

Figure 1: An Example Interactive Dialogue Interface of SPL System.

实验结果

研究问题

• RQ1 由GPT-4驅動的對話系統能否有效模擬蘇格拉底式教學法，以提升學習者的批判性思維？
• RQ2 與傳統ITS方法相比，SPL在提升學習者參與度與作文寫作任務理解方面達到何等程度？
• RQ3 提示工程在何等程度上能實現自動化、適應性與個人化導師教學，而無需預先定義的規則？
• RQ4 多輪、由wh-問題驅動的對話對學習者表現與反思能力有何影響？
• RQ5 系統在真實教育場景中的反饋與評估能力是否具備強健性與一致性？

主要发现

• 初步測試顯示，SPL透過互動式蘇格拉底對話，顯著提升學習者在作文寫作任務中的參與度與學習樂趣。
• 系統成功透過使用「為何？」與「如何？」等wh-問題引導的結構化多輪對話，培養學習者的批判性思維。
• SPL透過GPT-4自動化教學內容生成，降低對手動課程設計與規則系統的依賴。
• 系統在多樣化教育情境與學習者特徵中展現強大的可擴展性與適應性潛力。
• 初步結果顯示，SPL提升了導師互動的品質，並促進學習者實現更深層的理解。
• 針對作文提交的評估架構在評估AI生成反饋的強健性、敏感性與心理測量一致性方面展現潛力。

Figure 2: The Socratic Playground for Learning System Architecture.