[论文解读] Multimodal Continuation-style Architectures for Human-Robot Interaction

Nikhil Krishnaswamy, James Pustejovsky|arXiv (Cornell University)|Sep 18, 2019

Speech and dialogue systems参考文献 21被引用 6

一句话总结

本文提出了一种用于实时人-化身交互的多模态延续传递风格架构，通过改进的非确定性下推自动机实现语音与手势的增量理解。该架构支持动态消歧、单次示例手势学习以及上下文感知的动作执行，其主要贡献在于鲁棒的多模态融合与基于函数式编程模式的实时推理。

ABSTRACT

We present an architecture for integrating real-time, multimodal input into a computational agent's contextual model. Using a human-avatar interaction in a virtual world, we treat aligned gesture and speech as an ensemble where content may be communicated by either modality. With a modified nondeterministic pushdown automaton architecture, the computer system: (1) consumes input incrementally using continuation-passing style until it achieves sufficient understanding the user's aim; (2) constructs and asks questions where necessary using established contextual information; and (3) maintains track of prior discourse items using multimodal cues. This type of architecture supports special cases of pushdown and finite state automata as well as integrating outputs from machine learning models. We present examples of this architecture's use in multimodal one-shot learning interactions of novel gestures and live action composition.

研究动机与目标

• 开发一种支持人类与具身智能体之间自然、上下文感知通信的实时多模态交互架构。
• 通过增量式、延续传递风格推理，实现对语音与手势输入组合的鲁棒解释。
• 在情境化环境中支持对新型手势（例如，象形手势）的一次性学习，以触发复杂动作。
• 利用多模态线索与动态消歧，维持话语上下文并解析指示性指代。
• 提供一种模块化框架，可与现有机器人架构（如DIARC和POMDPs）兼容。

提出的方法

• 系统使用改进的非确定性下推自动机（PDA）来建模话语与上下文，其中栈符号表示未完成的动作或解释。
• 采用延续传递风格（CPS）以逐步组合上下文信息，支持跨模态的实时类型强制与函数应用。
• 该架构整合来自实时语音与手势识别系统的输入，通过VoxML建模语言将其映射为语义谓词。
• 通过将多个候选目标位置压入栈中，处理指示性指代（例如，'把它放那儿'）的消歧，由人类确认来解决选择歧义。
• 通过将手势的类型（例如，'抓杯子'）提升以匹配更高阶动作模板（例如，'将物体放入位置'），实现一次性手势学习。
• 系统使用C#在Unity游戏引擎与VoxSim平台中实现，支持在虚拟情境化环境中部署。

实验结果

研究问题

• RQ1 计算代理如何在实时保持语境连贯性的同时，逐步理解多模态输入（语音与手势）？
• RQ2 延续传递风格架构如何支持人-机器人对话中指示性指代的动态消歧？
• RQ3 哪些机制能够实现对新型手势的一次性学习，以在情境化环境中触发复杂动作？
• RQ4 如何使单一架构在有限状态自动机、下推自动机与确定性自动机之间通用化，同时支持多模态输入？
• RQ5 函数式编程模式（如CPS）在何种方式下可增强社交机器人中的实时推理能力？

主要发现

• 该架构成功实现了使用延续传递风格的实时、增量式多模态输入解释，支持动态类型强制与函数应用。
• 系统通过在基于栈的PDA模型中探索多个候选位置或对象，有效实现了对指示性指代的消歧，人类确认解决了歧义。
• 通过将手势的语义类型提升以匹配更高阶动作模板，成功实现了一次性学习象形手势（例如，模仿'杯子'以表示抓取），从而实现直接执行。
• 该框架可根据配置在有限状态自动机、确定性PDA与非确定性PDA之间通用化，显示出对不同交互复杂度建模的灵活性。
• 使用C#在Unity与VoxSim中实现，支持在虚拟环境中实时部署，完整集成语音、手势与情境化世界建模。
• 该架构通过利用多模态线索维护话语状态与先前交互历史，支持上下文感知的问题提问与响应生成。