[论文解读] Speech Intention Understanding in a Head-final Language: A Disambiguation Utilizing Intonation-dependency

Won Ik Cho, Hyeon Seung Lee+3 more|arXiv (Cornell University)|Nov 10, 2018

Speech and dialogue systems参考文献 31被引用 8

一句话总结

本文提出了一种针对韩语（一种词序为谓语后置的语言）的两阶段语音意图理解系统，该系统先通过基于文本的过滤，仅对模糊话语进行声学分析。通过利用依赖语调的句末标记，该系统在仅使用最少声学计算的情况下，实现了对话语行为（如陈述、疑问、命令）的高精度分类，优于端到端模型，且在低资源环境下具有高效性。

ABSTRACT

For a large portion of real-life utterances, the intention cannot be solely decided by either their semantic or syntactic characteristics. Although not all the sociolinguistic and pragmatic information can be digitized, at least phonetic features are indispensable in understanding the spoken language. Especially in head-final languages such as Korean, sentence-final prosody has great importance in identifying the speaker's intention. This paper suggests a system which identifies the inherent intention of a spoken utterance given its transcript, in some cases using auxiliary acoustic features. The main point here is a separate distinction for cases where discrimination of intention requires an acoustic cue. Thus, the proposed classification system decides whether the given utterance is a fragment, statement, question, command, or a rhetorical question/command, utilizing the intonation-dependency coming from the head-finality. Based on an intuitive understanding of the Korean language that is engaged in the data annotation, we construct a network which identifies the intention of a speech, and validate its utility with the test sentences. The system, if combined with up-to-date speech recognizers, is expected to be flexibly inserted into various language understanding modules.

研究动机与目标

• 为解决在谓语后置语言（如韩语）中仅靠句法与语义线索不足以消歧语音意图的挑战。
• 通过仅使用文本分析过滤掉无歧义话语，从而在应用昂贵的声学处理前减少计算负担。
• 开发一种可扩展的框架，仅在必要时整合语调线索，以识别话语行为（如陈述、疑问、命令、修辞形式）等。
• 创建一个免费提供的、带有语调标注的语料库，以支持低资源、谓语后置语言的语义行为分类研究。
• 实现更高效的语音理解系统集成，尤其适用于处理自由形式人类语音的智能代理。

提出的方法

• 该系统采用两阶段架构：基于文本的筛检模块，利用自然语言处理模型对无歧义话语（如片段、明确陈述）进行分类。
• 对于模糊话语——特别是句末助词不明确的句子——系统调用音频辅助分析器，利用语调特征（如语调轮廓）进行分析。
• 声学模型在 7,000 组语音-文本配对数据上进行训练，采用双向长短期记忆网络与注意力机制（BiLSTM-Att），基于语调模式对话语行为进行分类。
• 该方法可区分高升调、降调、降升调与低升调语调，这些语调分别对应不同话语行为（如疑问、陈述、命令）。
• 系统设计为模块化，可通过增加文本或语音数据实现逐步改进，且避免对无歧义输入重复进行声学处理。
• 通过半自动化的数据收集流程生成了 61,225 个文本话语，其中 2,000 个经人工标注以验证准确性。

实验结果

研究问题

• RQ1 基于文本的筛检模块能否有效过滤掉无歧义话语行为，从而减少对昂贵声学分析的需求？
• RQ2 在谓语后置语言（如韩语）中，语调模式在多大程度上可帮助消歧不同话语行为（如陈述、疑问、命令）？
• RQ3 结合文本与选择性声学分析的两阶段系统，在准确率与效率方面，与端到端多模态模型相比表现如何？
• RQ4 为韩语构建的带有语调标注的语料库能否支持低资源语音意图识别系统的发展？
• RQ5 所提出的方法是否可推广至其他谓语后置语言，甚至包括非谓语后置语言（如英语）中存在语调模糊性的语句？

主要发现

• 所提出的两阶段系统在使用 BiLSTM-Att 架构的 7K 测试集上，测试准确率达到 75.55%，性能与端到端模型相当或更优。
• 该系统通过仅对模糊话语应用声学分析，显著降低了计算负载，避免了对可明确识别话语行为的冗余处理。
• 语调模式——特别是高升调、降调与低升调轮廓——对话语行为类型的预测能力极强，能高精度地区分疑问、陈述与命令。
• 引入语调线索显著提升了对句末助词不明确话语的分类性能，这类话语在韩语中非常常见。
• 在人工标注子集上，该系统表现出良好的标注者间一致性，验证了所提标注方案的可靠性。
• 该方法具有可扩展性与适应性，可推广至其他存在语调模糊性的语言，包括非谓语后置语言（如英语中的陈述性疑问句）。