[论文解读] Turning Speech Into Scripts

Manny Rayner, Beth Ann Hockey+1 more|ArXiv.org|Jun 9, 2000

Speech and dialogue systems参考文献 12被引用 3

一句话总结

本文提出了一种语音转脚本架构，通过分层的语言学、对话和领域知识，将语音输入转换为可执行脚本。通过在每个处理阶段区分输出与元输出，该系统能够稳健地处理代词解析、用户误解纠正和脚本优化，并在个人卫星助手模拟环境中展示了可运行的原型。

ABSTRACT

We describe an architecture for implementing spoken natural language dialogue interfaces to semi-autonomous systems, in which the central idea is to transform the input speech signal through successive levels of representation corresponding roughly to linguistic knowledge, dialogue knowledge, and domain knowledge. The final representation is an executable program in a simple scripting language equivalent to a subset of Cshell. At each stage of the translation process, an input is transformed into an output, producing as a byproduct a "meta-output" which describes the nature of the transformation performed. We show how consistent use of the output/meta-output distinction permits a simple and perspicuous treatment of apparently diverse topics including resolution of pronouns, correction of user misconceptions, and optimization of scripts. The methods described have been concretely realized in a prototype speech interface to a simulation of the Personal Satellite Assistant.

研究动机与目标

• 设计一种可扩展的架构，用于将口语转换为半自主系统的可执行脚本。
• 解决口语对话理解中的挑战，包括代词解析和用户错误纠正。
• 将语言学、对话和领域知识整合到统一的转换流水线中。
• 通过关于转换的元信息实现生成脚本的优化。
• 在个人卫星助手的现实世界模拟中验证该方法。

提出的方法

• 系统通过一系列阶段处理语音：从声学输入到语言表示，再到对话状态，最后生成特定领域的脚本。
• 每个转换阶段都会产生输出（下一级表示）和元输出（描述转换类型和参数）。
• 元输出通过跟踪指代上下文，使歧义的一致处理成为可能，例如代词解析。
• 通过分析元输出检测不一致并触发澄清或纠正操作，实现对用户误解的纠正。
• 通过将转换规则应用于元输出，实现对脚本的优化，以减少冗余或提高效率。
• 最终输出为类似Cshell的脚本，可在模拟环境中执行。

实验结果

研究问题

• RQ1 如何使用分层知识表示系统地将语音输入转换为可执行脚本？
• RQ2 如何利用元输出管理口语对话中的歧义和错误？
• RQ3 元信息在实现代词和用户误解的一致解析中起到什么作用？
• RQ4 转换流水线如何支持生成脚本的优化？
• RQ5 该架构能否有效应用于现实的机器人助手界面？

主要发现

• 元输出机制使多样化的对话现象（如代词解析和错误纠正）得以统一处理，而无需依赖临时规则。
• 该系统成功地从自然口语输入在个人卫星助手模拟环境中生成了可执行脚本。
• 输出与元输出的分离简化了对转换正确性的推理，并支持脚本优化。
• 该架构通过元信息追踪，在处理用户错误和误解方面表现出鲁棒性。
• 该方法在可运行原型中得到验证，表明其在机器人应用中实时口语对话系统的可行性。
• 该方法支持可扩展性和模块化，允许逐步改进语言学和领域知识。