[论文解读] The Speech-Language Interface in the Spoken Language Translator

David M. Carter, Manny Rayner|ArXiv.org|Nov 23, 1994

Natural Language Processing Techniques参考文献 10被引用 6

一句话总结

本文提出了一种语音-语言接口，用于语音翻译系统，通过智能处理语音识别器输出，提升翻译准确率。该方法利用修复检测、语法专业化以及融合声学-句法-语义评分机制，选择最优语义结构，证明了声学上可能的假设并不总是语言上有效或适合在ATIS领域进行翻译。

ABSTRACT

The Spoken Language Translator is a prototype for practically useful systems capable of translating continuous spoken language within restricted domains. The prototype system translates air travel (ATIS) queries from spoken English to spoken Swedish and to French. It is constructed, with as few modifications as possible, from existing pieces of speech and language processing software. The speech recognizer and language understander are connected by a fairly conventional pipelined N-best interface. This paper focuses on the ways in which the language processor makes intelligent use of the sentence hypotheses delivered by the recognizer. These ways include (1) producing modified hypotheses to reflect the possible presence of repairs in the uttered word sequence; (2) fast parsing with a version of the grammar automatically specialized to the more frequent constructions in the training corpus; and (3) allowing syntactic and semantic factors to interact with acoustic ones in the choice of a meaning structure for translation, so that the acoustically preferred hypothesis is not always selected even if it is within linguistic coverage.

研究动机与目标

• 开发一种稳健的语音-语言接口，以提升受限领域（如航空旅行，ATIS）中的语音翻译质量。
• 解决语音理解中的挑战，即语音识别错误和不流畅表达对翻译质量的影响。
• 在假设选择中整合语言学与声学因素，以提升翻译准确率，而不仅依赖声学置信度分数。
• 证明可复用现有语音与语言处理组件，在流水线化、模块化的系统中实现端到端实时翻译的可行性。

提出的方法

• 采用流水线式N-best接口，将语音识别器与语言理解模块连接，处理多个候选转录文本。
• 应用修复检测机制，在解析前识别并纠正口语语句中的不流畅现象（如错误开始、自我修正）。
• 使用基于训练语料中频繁结构自动生成的语法，以实现对常见ATIS查询的快速、高效解析。
• 在统一排序机制中整合句法、语义与声学评分，以选择最可能的语义结构，即使其声学可能性较低。
• 采用混合评分模型，使语言学合理性可覆盖声学偏好，确保翻译质量不因识别错误而受损。
• 复用已有的、经过验证的语音与语言处理软件组件，以最小化开发开销并保障模块化设计。

实验结果

研究问题

• RQ1 如何在翻译前有效检测并纠正口语语句中的不流畅与识别错误？
• RQ2 语法专业化在语音翻译系统中能在多大程度上提升解析速度与准确率？
• RQ3 语言学因素（如句法与语义）能否在选择最佳翻译假设时覆盖声学置信度？
• RQ4 如何设计一种模块化、可复用的架构，以集成语音与语言处理组件，实现实时语音翻译？

主要发现

• 该系统通过检测并移除修复项，成功处理了口语英语中的不流畅现象，提升了输入假设的语言连贯性。
• 基于训练语料频率的语法专业化显著加快了解析速度，同时保持了对常见ATIS查询的高覆盖率。
• 句法与语义因素与声学评分的整合，使系统能够拒绝那些声学上可能但语言学上不合理的假设。
• 最终翻译质量得到提升，因为系统并不总是选择声学上最可能的假设，证明语言学合理性是假设选择中的关键因素。
• 模块化设计使得可复用现有的语音与语言处理组件，验证了通过最小化重实现即可构建功能原型的可行性。