[论文解读] Smart Speech Segmentation using Acousto-Linguistic Features with look-ahead

Piyush Behre, Naveen Parihar+8 more|arXiv (Cornell University)|Oct 26, 2022

Speech Recognition and Synthesis被引用 6

一句话总结

本文提出一种混合语音切分方法，通过结合语音特征与语言模型预测（采用一词前瞻机制）来提升切分准确率。该方法利用韵律与语言上下文信息，有效减少过切分问题——尤其在语音输入场景中表现显著，使切分F0.5平均提升9.8%，并在六种语言的机器翻译任务中将BLEU分数提升0.4–1.4分。

ABSTRACT

Segmentation for continuous Automatic Speech Recognition (ASR) has traditionally used silence timeouts or voice activity detectors (VADs), which are both limited to acoustic features. This segmentation is often overly aggressive, given that people naturally pause to think as they speak. Consequently, segmentation happens mid-sentence, hindering both punctuation and downstream tasks like machine translation for which high-quality segmentation is critical. Model-based segmentation methods that leverage acoustic features are powerful, but without an understanding of the language itself, these approaches are limited. We present a hybrid approach that leverages both acoustic and language information to improve segmentation. Furthermore, we show that including one word as a look-ahead boosts segmentation quality. On average, our models improve segmentation-F0.5 score by 9.8% over baseline. We show that this approach works for multiple languages. For the downstream task of machine translation, it improves the translation BLEU score by an average of 1.05 points.

研究动机与目标

• 解决因仅依赖静音检测或VAD方法导致的连续自动语音识别中过切分问题，这些方法常将自然停顿误判为句末边界。
• 通过在决策过程中引入语言模型（LM-EOS）的语境信息，提升切分质量。
• 研究在切分决策中引入右文（前瞻）信息的影响，尤其针对标点符号与下游任务的表现。
• 在多种语音类型（语音输入、会议记录、播客）和多种语言中评估该方法的有效性。
• 证明改进的切分质量可提升下游任务表现，如机器翻译，通过BLEU分数的提升进行衡量。

提出的方法

• 该方法采用混合架构，结合VAD-EOS模型（纯声学）与LM-EOS模型（基于语言模型）进行句末切分预测。
• LM-EOS模型在Open Web Text语料库上进行训练，使用标准化的口语形式，并筛选句末标点符号（。, ?）。
• 在v3模型中引入前瞻机制，使LM-EOS可访问未来一个词的上下文，以提升决策置信度。
• 切分决策通过融合VAD-EOS与LM-EOS模型的输出生成，重点提升精确率以避免过切分。
• 每个切分后的段落随后输入一个固定的基于Transformer的标点预测模型进行标点预测。
• 系统按语言独立训练，实现语言特异性适配，同时保持模块化与可扩展性。

实验结果

研究问题

• RQ1 将语言特征引入语音切分是否能相比纯声学方法减少过切分？
• RQ2 在使用语言模型时，引入一词前瞻如何改善切分决策？
• RQ3 结合前瞻机制的声学-语言混合方法是否能在不同语音类型与语言间实现泛化？
• RQ4 改进的切分在多大程度上提升了下游机器翻译任务的表现？
• RQ5 该方法能否有效应用于长时语音识别任务，如语音打字与会议转录？

主要发现

• v3模型引入前瞻机制后，在切分F0.5上相比基线平均提升9.8%，其中语音输入任务最高提升达15.9%。
• v2模型（无前瞻）在所有数据集上均已优于基线，证实语言特征在切分中的有效性。
• v3模型在NPR-76数据集上实现了精确率与召回率的平衡，表明其达到最优切分性能。
• 在机器翻译任务中，v3模型使六种语言的BLEU分数提升0.4至1.4分，其中意大利语（+1.3）与英语（+1.4）提升最大。
• 该方法在多种领域（包括语音输入、财报电话会议、议会会议）中均表现出一致的有效性，覆盖多种语言。
• 用户研究证实，精确率比召回率更为关键，验证了以F0.5作为主要指标的合理性。