[论文解读] Robots Learn Social Skills: End-to-End Learning of Co-Speech Gesture Generation for Humanoid Robots

Youngwoo Yoon, Woo-Ri Ko+4 more|arXiv (Cornell University)|Oct 30, 2018

Speech and dialogue systems被引用 6

一句话总结

本文提出了一种端到端深度学习模型，通过52小时TED演讲的语音转录文本，为仿人形机器人生成共言语手势。该模型采用编码器-解码器架构，生成多样且与上下文相关的手势——包括示意性、隐喻性、指示性和节拍性手势，在NAO机器人上实现实时类人运动，主观评估证实了手势与语音的对齐性及自然性。

ABSTRACT

Co-speech gestures enhance interaction experiences between humans as well as between humans and robots. Existing robots use rule-based speech-gesture association, but this requires human labor and prior knowledge of experts to be implemented. We present a learning-based co-speech gesture generation that is learned from 52 h of TED talks. The proposed end-to-end neural network model consists of an encoder for speech text understanding and a decoder to generate a sequence of gestures. The model successfully produces various gestures including iconic, metaphoric, deictic, and beat gestures. In a subjective evaluation, participants reported that the gestures were human-like and matched the speech content. We also demonstrate a co-speech gesture with a NAO robot working in real time.

研究动机与目标

• 开发一种基于学习的共言语手势生成方法，以减少对专家设计规则的依赖。
• 使仿人形机器人仅通过语音文本输入，即可生成多样且语境恰当的手势。
• 在物理机器人（NAO）上实现端到端的实时手势生成，以增强人机交互。
• 通过主观人类感知研究，评估生成手势的自然性与内容一致性。

提出的方法

• 该模型使用序列到序列神经网络，通过编码器将语音文本编码为潜在表征。
• 基于Transformer的解码器根据编码后的语音生成手势参数序列（例如，关节角度、时间）
• 模型在52小时TED演讲视频上进行预训练，其中语音转录文本与对应的人类手势配对。
• 示意性、隐喻性、指示性和节拍性手势类型通过端到端训练隐式学习，无需显式标注。
• 该架构实现了从原始文本到运动序列的端到端训练，避免了手工设计的手势规则。
• 通过在NAO机器人上部署模型，实现了实时推理，支持语音与手势输出的同步。

实验结果

研究问题

• RQ1 深度学习模型能否仅从语音文本生成多样化的共言语手势，而无需基于规则的系统？
• RQ2 生成的手势在多大程度上与语音的语义内容相匹配？
• RQ3 生成的手势对人类观察者而言，其自然度和类人程度如何？
• RQ4 该模型能否在一个端到端框架中生成多种手势类型（例如，示意性、节拍性、指示性）？
• RQ5 该方法是否可在物理仿人形机器人上实现实时手势生成？

主要发现

• 该模型成功生成了广泛的 gestures 类型，包括示意性、隐喻性、指示性和节拍性手势，且无需对手势类别进行显式监督。
• 主观评估显示，参与者认为生成的手势自然且与语音内容高度对齐。
• 该系统在NAO仿人形机器人上实现了实时性能，证明了实际部署的可行性。
• 该模型在不同语音内容上具有泛化能力，即使面对未见过的语句，也能生成语境相关的手势。
• 使用TED演讲数据使模型能够从真实人类语音中学习到丰富且具有社会意义的手势模式。