[论文解读] Speech Repairs, Intonational Boundaries and Discourse Markers: Modeling Speakers' Utterances in Spoken Dialog

Peter A. Heeman|arXiv (Cornell University)|Dec 23, 1997

Speech and dialogue systems参考文献 64被引用 12

一句话总结

本文提出了一种统计语言模型，通过联合检测语音修复、语调短语边界、话语标记符和词性标注，提升语音识别性能。通过将这些语调和话语特征建模为识别过程的一部分，系统提升了词预测能力，并生成了更丰富、更具语义意义的说话人话语分析，利用沉默等声学线索作为信息性信号而非噪声。

ABSTRACT

In this thesis, we present a statistical language model for resolving speech repairs, intonational boundaries and discourse markers. Rather than finding the best word interpretation for an acoustic signal, we redefine the speech recognition problem to so that it also identifies the POS tags, discourse markers, speech repairs and intonational phrase endings (a major cue in determining utterance units). Adding these extra elements to the speech recognition problem actually allows it to better predict the words involved, since we are able to make use of the predictions of boundary tones, discourse markers and speech repairs to better account for what word will occur next. Furthermore, we can take advantage of acoustic information, such as silence information, which tends to co-occur with speech repairs and intonational phrase endings, that current language models can only regard as noise in the acoustic signal. The output of this language model is a much fuller account of the speaker's turn, with part-of-speech assigned to each word, intonation phrase endings and discourse markers identified, and speech repairs detected and corrected. In fact, the identification of the intonational phrase endings, discourse markers, and resolution of the speech repairs allows the speech recognizer to model the speaker's utterances, rather than simply the words involved, and thus it can return a more meaningful analysis of the speaker's turn for later processing.

研究动机与目标

• 通过建模超越词序列的语调和话语特征，提升语音识别性能。
• 解决传统语言模型将沉默和语调线索视为噪声的局限性。
• 通过识别语调短语边界和话语标记符，实现对口语话语更准确、更具语义意义的解释。
• 将语音修复和词性标注整合到识别流程中，以实现更好的上下文预测。
• 证明建模说话人层面的话语结构可提升词预测和识别准确率。

提出的方法

• 该模型扩展了传统语言建模方法，联合预测词序列、词性标注、语调短语边界、话语标记符和语音修复。
• 利用沉默时长等声学特征作为与修复和语调边界相关的信息性信号。
• 系统采用类似条件随机场（CRF）的框架，建模语言单元与语调特征之间的依赖关系。
• 通过识别话语结构中的不流畅标记符及其修正，检测并解决语音修复。
• 将语调线索整合到语言建模过程中，通过话语和语调的上下文意识提升下一个词的预测能力。
• 该方法将识别任务视为结构化预测问题，其中输出包含每个话语中多个相互依赖的标注。

实验结果

研究问题

• RQ1 建模语音修复、语调边界和话语标记符是否能提升语音识别中的词预测？
• RQ2 如何将沉默等声学线索作为信息性特征而非噪声，用于语言建模？
• RQ3 整合语调和话语结构在多大程度上提升了口语话语分析的可解释性和准确性？
• RQ4 联合建模词性标注、修复和语调短语边界是否能带来整体识别性能的提升？
• RQ5 话语标记符和边界检测的引入是否能实现更自然、更具语义意义的说话人话语表示？

主要发现

• 联合建模语调和话语特征通过提供更丰富的上下文约束，提升了词预测的准确性。
• 声学沉默被证明与语音修复和语调短语边界共同出现，使其成为检测的宝贵信号。
• 该模型成功识别并纠正了语音修复，生成了更连贯、更准确的话语表示。
• 语调短语边界和话语标记符被有效检测，实现了对说话人话语更优的语义单元分割。
• 与仅基于词级识别的标准方法相比，这些特征的引入使说话人话语的分析更加完整且具有语义意义。
• 该系统表明，建模说话人层面的结构（超越词本身）可显著提升口语理解的质量。