[论文解读] Ubiquitous Talker: Spoken Language Interaction with Real World Objects

Katashi Nagao, Jun Rekimoto|ArXiv.org|May 23, 1995

Speech and dialogue systems参考文献 14被引用 44

一句话总结

Ubiquitous Talker 是一种便携式增强现实系统，通过使用彩色条码ID标签实现情境感知，使用户能够以自然语言与现实世界中的物体进行交互。通过整合语音识别、语音合成以及通过摄像头实现的实时物体识别，该系统使用户能够像与智能代理对话一样与物理对象进行交流，从而通过语言的情境化定位显著提升人机交互的鲁棒性和自然性。

ABSTRACT

Augmented reality is a research area that tries to embody an electronic information space within the real world, through computational devices. A crucial issue within this area, is the recognition of real world objects or situations. In natural language processing, it is much easier to determine interpretations of utterances, even if they are ill-formed, when the context or situation is fixed. We therefore introduce robust, natural language processing into a system of augmented reality with situation awareness. Based on this idea, we have developed a portable system, called the Ubiquitous Talker. This consists of an LCD display that reflects the scene at which a user is looking as if it is a transparent glass, a CCD camera for recognizing real world objects with color-bar ID codes, a microphone for recognizing a human voice and a speaker which outputs a synthesized voice. The Ubiquitous Talker provides its user with some information related to a recognized object, by using the display and voice. It also accepts requests or questions as voice inputs. The user feels as if he/she is talking with the object itself through the system.

研究动机与目标

• 在日常环境中实现与物理对象的自然、稳健的语音交互。
• 通过将语言理解建立在现实世界的情境背景中，降低其复杂性。
• 开发一种便携式、实时的系统，集成语音输入/输出与视觉物体识别技术，用于增强现实。
• 通过利用物体身份和用户注视等非语言情境，提升语音处理的准确性和效率。
• 创建一种无缝、直观的人机交互界面，使用户感觉是直接与物理对象对话。

提出的方法

• 使用彩色条码ID码系统为现实世界中的物体分配唯一、机器可读的标识符，以实现可靠的识别。
• 采用CCD摄像头实时检测并解码彩色条码标签，使系统能够识别用户正在交互的物体。
• 集成麦克风和扬声器，实现全双工语音交互，允许用户发出语音指令或提出问题。
• 使用LCD显示屏将数字信息（例如描述、操作说明）叠加到现实视野上，模拟透视式界面。
• 应用情境感知的语音处理技术，利用物体身份和用户注意力线索，限制自然语言理解的假设空间。
• 利用指示代词（例如“这个”、“那个”、“这里”）和注视追踪技术，将语言锚定于物理情境，降低歧义性。

实验结果

研究问题

• RQ1 在存在非规范或模糊语句的现实环境中，如何使语音理解更具鲁棒性？
• RQ2 情境背景（如物体身份和用户注视）在多大程度上能降低语音识别与理解的复杂性？
• RQ3 是否可以通过低成本、可靠的物体识别方法（如彩色条码标签）实现实用的、实时的增强现实交互？
• RQ4 如何整合多模态输入（语音、视觉、注视）以支持与物理对象的自然、情境化对话？
• RQ5 非语言情境在提升人机交互中语音处理的准确性和效率方面发挥什么作用？

主要发现

• 通过彩色条码ID码实现的视觉物体识别显著缩小了语音理解的假设空间，从而能够稳健地解析非规范或模糊的语句。
• 用户感知该系统为与物理对象交互的对话代理，实现了高度自然和沉浸式的人机交互体验。
• 该系统成功实现了与物理对象的实时、便携式语音交互，证明了在日常环境中实现情境感知增强现实的可行性。
• 通过物体身份和注视追踪实现的情境感知，使系统能够以高精度解析指示代词（如“这个”、“那个”），显著降低对话中的歧义性。
• 使用被动式、无需电池的彩色条码标签，相比主动或嵌入式计算系统，提供了低成本、可靠且可扩展的物体识别解决方案。
• 通过结合语言和非语言模态，系统性能得到提升，表明多模态情境对高效、准确的语音处理至关重要。