[论文解读] Parsing Speech: A Neural Approach to Integrating Lexical and Acoustic-Prosodic Information

Trang Tran, Shubham Toshniwal+4 more|arXiv (Cornell University)|Apr 24, 2017

Natural Language Processing Techniques参考文献 27被引用 4

一句话总结

该论文提出了一种神经编码器-解码器解析器，通过卷积神经网络和基于注意力的LSTM，将词级文本嵌入与原始的语音-语调特征（如基频和能量）相结合。与强大的仅使用文本的基线模型相比，该模型在成分解析和话语不连贯检测的F1分数上实现了统计上显著的提升，尤其在不连贯或长句中表现更优，其中语调特征在纠正依存错误方面最为有效。

ABSTRACT

In conversational speech, the acoustic signal provides cues that help listeners disambiguate difficult parses. For automatically parsing spoken utterances, we introduce a model that integrates transcribed text and acoustic-prosodic features using a convolutional neural network over energy and pitch trajectories coupled with an attention-based recurrent neural network that accepts text and prosodic features. We find that different types of acoustic-prosodic features are individually helpful, and together give statistically significant improvements in parse and disfluency detection F1 scores over a strong text-only baseline. For this study with known sentence boundaries, error analyses show that the main benefit of acoustic-prosodic features is in sentences with disfluencies, attachment decisions are most improved, and transcription errors obscure gains from prosody.

研究动机与目标

• 通过在不依赖人工标注的语调边界的情况下，整合语音-语调线索以改进对话语音的解析。
• 探究原始语音特征（基频、能量、停顿）是否能在仅使用文本的模型之外进一步提升解析性能。
• 分析语调特征在哪些情境下提供最大帮助，尤其是不连贯或句法结构模糊的语境中。
• 评估转录错误对语调特征在解析系统中实用性的影晌。
• 探索将此框架扩展至自动语音识别（ASR）流水线中的增量式或词网解析的可行性。

提出的方法

• 模型使用双向LSTM编码器处理反转的词序列，输入为拼接的词嵌入与语音-语调特征。
• 语音-语调特征包括从每个词周围1秒窗口提取的基频、能量和停顿区间，并按说话人进行归一化。
• 一维卷积层用于处理基频和能量的时间轨迹，以提取语调模式。
• 注意力机制关注编码器的隐藏状态，逐步生成线性化的解析输出。
• 解码器使用深层LSTM，通过软注意力机制对编码器状态进行上下文向量计算，并基于先前输出标记进行条件化。
• 该框架无需显式的语调边界标注，端到端地从原始语音和文本输入中进行学习。

实验结果

研究问题

• RQ1 当与词嵌入结合时，原始语音-语调特征是否能提升对话语音的解析性能？
• RQ2 在哪些句法语境中（例如，不连贯、依存歧义）语调特征提供最大帮助？
• RQ3 转录错误如何影响解析系统中语调特征带来的性能增益？
• RQ4 与标准转录本相比，将语调整合到ASR词网或替代假设的解析中是否能带来更大的性能提升？
• RQ5 该语调整合框架能否扩展至过渡式或依存解析架构？

主要发现

• 与强大的仅使用文本的基线相比，引入语音-语调特征在成分解析和话语不连贯检测的F1分数上均实现了统计上显著的提升。
• 最大的性能增益出现在不连贯句子中，特别是在纠正依存错误方面，表明语调有助于解决句法歧义。
• 各类语调特征（如基频、能量、停顿）各自均有积极贡献，且组合使用时性能最佳。
• 当标准转录本包含错误时，语调特征可能导致性能下降，原因在于语音信号与真实解析之间存在不一致，提示语调在ASR词网解析中可能更具优势。
• 错误分析表明，语调在修复句法依存决策方面最为有效，尤其是在复杂或被打断的语句中。
• 当包含语调时，模型对转录噪声具有鲁棒性，但当转录不准确时，性能增益会被掩盖，凸显未来研究中对齐数据的必要性。