[论文解读] The effect of a physical robot on vocabulary learning

Andreas Wedenborn, Preben Wik+2 more|arXiv (Cornell University)|Jan 30, 2019

Speech and dialogue systems参考文献 6被引用 8

一句话总结

本研究通过一个机器人导师，探究了身体具身性对第二语言词汇学习的影响。在15名参与者的受控实验中，实体机器人（Furhat）在单词回忆测试中的表现显著优于无实体声音和基于屏幕的虚拟形象，回忆准确率分别为52%、46.7%和42.7%，表明身体具身性可提升语言教育中的学习动机与学习成效。

ABSTRACT

This study investigates the effect of a physical robot taking the role of a teacher or exercise partner in a language learning exercise. In order to investigate this, an application was developed enabling a 2:nd language learning vocabulary exercise in three different conditions. In the first condition the learner would receive tutoring from a disembodied voice, in the second condition the tutor would be embodied by an animated avatar on a computer screen, and in the final condition the tutor was a physical robotic head with a 3D animated face mask. A Russian language vocabulary exercise with 15 subjects was conducted. None of the subjects reported any Russian language skills prior to the exercises. Each subject were taught a set of 9 words in each of the three conditions during a practice phase, and were then asked to recall the words in a test phase. Results show that the recall of the words practiced with the physical robot were significantly higher than that of the words practiced with the avatar on the screen or with the disembodied voice.

研究动机与目标

• 检验语言导师的身体具身性是否能提升第二语言学习者的词汇记忆效果。
• 比较三种交互情境下的学习成效：无实体声音、屏幕上的动态虚拟形象，以及实体机器人。
• 探究机器人物理存在的存在是否能提升学习者在语言练习中的动机与参与度。
• 确定相同的对话系统与面部表情动画在实体机器人上呈现时，是否比在屏幕上的虚拟形象上产生更好的效果。
• 通过“巫师-奥兹”实验设置，评估社会存在感与情感联结在语言学习表现中的作用。

提出的方法

• 基于IrisTK框架开发了一个支持多模态对话系统的口语化互动词汇训练应用。
• 设置了三种交互条件：无实体声音、屏幕上的动态虚拟形象，以及搭载投影面部动画的实体Furhat机器人头。
• 采用“巫师-奥兹”设置，由一名人工操作员实时判断发音，且用户不可见，以确保反馈的准确性。
• 开展一项被试内实验，共15名母语为英语、无俄语基础的参与者，以随机顺序体验所有三种条件。
• 每种条件均包含5分钟的学习阶段（介绍9个俄语词汇，含发音、文字与图像），随后进行9道题的回忆测试。
• 测量单词回忆准确率与各条件下的耗时，并使用Friedman检验与Wilcoxon符号秩检验（Bonferroni校正）进行统计分析。

实验结果

研究问题

• RQ1 与无实体声音或屏幕虚拟形象相比，语言导师的身体具身性是否能带来更高的词汇回忆率？
• RQ2 物理机器人的存在是否会影响学习者在语言学习任务中的动机与参与度？
• RQ3 当相同的对话系统与面部动画在物理实体与屏幕虚拟形象上呈现时，是否存在可测量的学习表现差异？
• RQ4 情感联结或感知到的社会存在在多大程度上影响了机器人辅导中的学习成效？
• RQ5 与虚拟形象和无实体声音条件相比，实体机器人条件是否带来显著更高的回忆率？

主要发现

• 实体机器人条件的平均单词回忆得分为52%，显著高于屏幕条件（46.7%）和无实体声音条件（42.7%）。
• Friedman检验确认交互条件对回忆表现有显著整体影响（$x^{2}(2)=13.43$, $p=0.0012$）。
• 事后Wilcoxon符号秩检验显示，机器人与无实体声音条件之间（$p=0.00222$）以及机器人与屏幕条件之间（$p=0.01140$）的回忆率差异具有统计学意义，两者均低于校正后的显著性阈值（0.017）。
• 无实体声音与屏幕条件之间无显著差异（$p=0.09102$），表明虚拟形象相较于无实体声音并无明显优势。
• 参与者认为机器人条件更具趣味性与吸引力，对机器人产生更强的个人联结感。
• 学习者表示希望与机器人进行更多对话，表明其对物理导师存在的情感投入及外在动机有所增强。