[论文解读] Speech Dialogue with Facial Displays: Multimodal Human-Computer Conversation

Katashi Nagao, Akikazu Takeuchi|ArXiv.org|Jun 1, 1994

Social Robot Interaction and HRI被引用 8

一句话总结

本文提出了一种融合语音与面部动画的多模态人机对话系统，以增强人机交互的自然性。通过将面部表情建模为独立的交流通道，该系统提升了用户参与度与理解度，尤其是在初次互动时，表明早期使用面部表情能显著提升后续对话质量与感知自然度。

ABSTRACT

Human face-to-face conversation is an ideal model for human-computer dialogue. One of the major features of face-to-face communication is its multiplicity of communication channels that act on multiple modalities. To realize a natural multimodal dialogue, it is necessary to study how humans perceive information and determine the information to which humans are sensitive. A face is an independent communication channel that conveys emotional and conversational signals, encoded as facial expressions. We have developed an experimental system that integrates speech dialogue and facial animation, to investigate the effect of introducing communicative facial expressions as a new modality in human-computer conversation. Our experiments have shown that facial expressions are helpful, especially upon first contact with the system. We have also discovered that featuring facial expressions at an early stage improves subsequent interaction.

研究动机与目标

• 研究面部表情作为多模态通道如何影响人机对话的感知质量与交互质量。
• 将面对面人类交流建模为设计更自然人机交互的模板。
• 检验在对话初期引入面部表情是否能提升用户参与度与系统可用性。
• 开发并评估一个原型系统，实现语音与动态面部动画的同步，以实现富有表现力的交互。

提出的方法

• 系统通过预定义的面部表情模型，将语音对话与实时面部动画相结合。
• 面部表情基于对话语境与情感线索生成，作为独立的通信通道。
• 系统采用基于规则的方法，将对话状态映射到特定面部表情。
• 用户通过语音输入进行交互，系统以语音和同步的面部动画作出回应。
• 实验设置包括受控的用户测试，以评估多模态界面的感知效果与可用性。
• 系统在实时交互环境中进行评估，以测量用户反应与交互质量。

实验结果

研究问题

• RQ1 面部表情在多大程度上影响用户对人机对话自然度的感知？
• RQ2 面部表情的存在是否能提升用户参与度，尤其是在与系统的首次互动中？
• RQ3 面部表情能否作为多模态对话系统中有效的独立模态？
• RQ4 面部表情在多大程度上能增强人机交互中的理解力与信任感？
• RQ5 早期引入面部表情在多大程度上影响长期交互质量？

主要发现

• 面部表情显著提升了用户对系统自然度与参与度的感知，尤其在初次接触时效果明显。
• 用户报告称，当系统从一开始就展示面部表情时，其信任感与感知响应能力显著提高。
• 面部表情的整合使后续互动的对话流程更加流畅自然。
• 系统表明，面部表情作为有效的非语言线索，能够支持并强化语言交流。
• 面部表情的早期部署显著提升了用户满意度与交互流利度。