[论文解读] Towards Social & Engaging Peer Learning: Predicting Backchanneling and Disengagement in Children.

Mononito Goswami, Minkush Manuja+1 more|arXiv (Cornell University)|Jul 22, 2020

Speech and dialogue systems参考文献 39被引用 10

一句话总结

本文提出了两种机器学习模型——听者分心预测（LDP）与回应程度预测（BEP）——以使社交机器人能够作为儿童同伴学习的积极参与者。利用多模态时间序列特征（如瞳孔扩张、眨眼频率、头部运动及语音语调），模型可实时预测分心行为与最优回应程度，当建模时间动态时，性能显著提升，且通过置换特征重要性分析识别出关键特征，如说话人基频（F0）与瞳孔扩张最为关键。

ABSTRACT

Social robots and interactive computer applications have the potential to foster early language development in young children by acting as peer learning companions. However, studies have found that children only trust robots which behave in a natural and interpersonal manner. To help robots come across as engaging and attentive peer learning companions, we develop models to predict whether the listener will lose attention (Listener Disengagement Prediction, LDP) and the extent to which a robot should generate backchanneling responses (Backchanneling Extent Prediction, BEP) in the next few seconds. We pose LDP and BEP as time series classification problems and conduct several experiments to assess the impact of different time series characteristics and feature sets on the predictive performance of our model. Using statistics & machine learning, we also examine which socio-demographic factors influence the amount of time children spend backchanneling and listening to their peers. To lend interpretability to our models, we also analyzed critical features responsible for their predictive performance. Our experiments revealed the utility of multimodal features such as pupil dilation, blink rate, head movements, facial action units which have never been used before. We also found that the dynamics of time series features are rich predictors of listener disengagement and backchanneling.

研究动机与目标

• 开发模型以预测儿童在同伴讲故事互动过程中出现分心的时刻。
• 实时预测机器人应生成的回应程度以实现最佳互动。
• 识别对儿童参与度与回应行为最具影响的多模态及社会人口学特征。
• 通过置换特征重要性与部分依赖图提升模型可解释性。
• 验证行为特征时间动态在参与度建模中的预测能力。

提出的方法

• 将LDP与BEP建模为基于序列行为数据的时间序列分类问题。
• 从视频与音频流中提取多模态特征，包括面部动作单元（AUs）、瞳孔扩张、眨眼频率、头部运动（速度/加速度）以及语调特征（如F0、MFCCs）。
• 应用时间序列表征技术（如统计矩、熵、自相关性）以增强特征表达。
• 在P2PSTORY数据集上，采用留一被试者交叉验证（LOSO）训练并评估随机森林与ResNet模型。
• 使用置换特征重要性（PFI）评估特征相关性，利用部分依赖图（PDP）可视化特征影响。
• 将性能最佳的BEP模型部署为轻量级Flask应用，运行于三维虚拟角色（Alice）上，以实现实时回应演示。

实验结果

研究问题

• RQ1 在同伴讲故事过程中，哪些多模态行为特征最能预测儿童的听者分心？
• RQ2 行为特征的时间序列动态在预测回应程度与分心行为方面表现如何？
• RQ3 哪些社会人口学因素影响儿童的聆听时间与回应行为？
• RQ4 不同特征集合与时间序列表征技术如何影响模型性能？
• RQ5 哪些单一特征对参与度与回应行为的预测最具影响力，其相互作用机制如何？

主要发现

• 当使用置换后的时间序列数据进行训练时，LDP模型的F1值平均下降29.8%，AUC平均下降28.6%，证实时间动态具有显著预测能力。
• 在置换数据上，BEP模型的F1值平均下降36.4%，AUC平均下降25.7%，表明时间模式对回应预测至关重要。
• 在随机森林模型中，说话人基频（F0，音高）是回应行为的最重要预测因子，其次为瞳孔扩张、AU10、AU14及头部平动加速度。
• 瞳孔扩张在0.20–0.22范围内时，听者回应行为显著增加，提示其为参与度的关键非语言线索。
• 在ResNet模型中，面部动作单元（AUs）与瞳孔扩张为最突出的预测因子，而MFCC等语调特征影响较小。
• 使用多模态特征（尤其是瞳孔扩张、眨眼频率与头部运动）的模型预测性能优于单模态或传统特征。