[论文解读] The Effects of Embodiment and Personality Expression on Learning in LLM-based Educational Agents

Si̇nan Sonlu, Bennie Bendiksen+2 more|arXiv (Cornell University)|Jun 24, 2024

Education and Learning Interventions被引用 4

一句话总结

本研究探讨了在基于大语言模型（LLM）的教育智能体中，个性表达与具身化对学习的影响，采用由GPT-3.5驱动对话并配备面部与身体动作动画的3D动态智能体。结果显示，高外向性/宜人性的智能体被认为更具吸引力，尽管在不同模型类型之间未发现学习成果的显著差异，所有模型在整体评价上均表现良好。

ABSTRACT

This work investigates how personality expression and embodiment affect personality perception and learning in educational conversational agents. We extend an existing personality-driven conversational agent framework by integrating LLM-based conversation support tailored to an educational application. We describe a user study built on this system to evaluate two distinct personality styles: high extroversion and agreeableness and low extroversion and agreeableness. For each personality style, we assess three models: (1) a dialogue-only model that conveys personality through dialogue, (2) an animated human model that expresses personality solely through dialogue, and (3) an animated human model that expresses personality through both dialogue and body and facial animations. The results indicate that all models are positively perceived regarding both personality and learning outcomes. Models with high personality traits are perceived as more engaging than those with low personality traits. We provide a comprehensive quantitative and qualitative analysis of perceived personality traits, learning parameters, and user experiences based on participant ratings of the model types and personality styles, as well as users' responses to open-ended questions.

研究动机与目标

• 探究个性表达与具身化对基于大语言模型的教育智能体学习成果的影响。
• 评估不同个性风格（高 vs. 低外向性与宜人性）对用户感知与参与度的影响。
• 比较三种智能体模型：仅对话型、仅动画型、具完整手势与面部表情同步的动画型。
• 评估具身化与个性表达是否影响用户对学习感知、质量与参与度的评价。
• 探讨多模态线索（对话、动画）在塑造用户对智能体个性与教育有效性感知方面的作用。

提出的方法

• 在教育场景中，基于GPT-3.5扩展了以个性为导向的对话智能体框架，用于生成对话。
• 设计了两种个性风格：高外向性-宜人性（充满活力、亲切）与低外向性-宜人性（内向、正式）。
• 实现了三种智能体模型：(1) 仅对话型，(2) 仅含对话的动画型，(3) 含对话与同步手势/面部表情的完整动画型。
• 开展一项三因素×两因素的被试间实验，共60名参与者，每人与一种智能体变体互动。
• 收集了关于学习、质量、参与度及五大人格特质（FFM）感知个性的定量评分。
• 通过开放式问题与主题分析，探索用户的定性体验与感知细微差异。

Figure 1 : Different 3D agent models used in the study expressing high (left group) and low (right group) traits.

实验结果

研究问题

• RQ1 RQ1. 个性风格是否对感知个性有影响？
• RQ2 RQ2. 模型类型是否对感知个性有影响？
• RQ3 RQ3. 模型类型是否对学习成果有影响？
• RQ4 RQ4. 学习成果与个性感知之间是否存在相关性？

主要发现

• 无论模型类型如何，高外向性与宜人性的智能体均被参与者感知为显著更具参与度。
• 所有模型在五大人格特质维度上均获得积极评价，其中高特质智能体在开放性、尽责性、外向性、宜人性及神经质性方面得分更高。
• 具备完整动画的具身智能体获得的参与度评分高于仅对话型与仅动画型模型，但差异未达统计显著性。
• 在模型类型之间未发现感知学习或质量的显著差异，表明在本研究中，具身化本身并未提升学习成果。
• 参与者反映合成语音听起来不自然，部分用户认为回应过长或过于复杂，提示当前文本转语音（TTS）与内容适配技术仍存在局限。
• 主题分析揭示用户偏好存在显著个体差异，部分用户更重视个性契合度而非模型类型，表明个性化智能体选择具有潜在可能性。

(a) Model D