[论文解读] Spotting Prosodic Boundaries in Continuous Speech in French

Vincent Pagel, Noëlle Carbonell+2 more|arXiv (Cornell University)|Aug 26, 1998

Speech Recognition and Synthesis被引用 3

一句话总结

本文提出一种基于时间延迟神经网络（TDNN）的系统，用于在法语连续语音中自动检测语调边界，使用基频（F0）、元音时长和伪音节时长特征。该系统在9分钟的法语语音语料库上进行训练和测试，该语料库由语音学家和非专家标注了语调边界，系统实现了可靠的边界检测，验证了标注质量以及声学建模方法的有效性。

ABSTRACT

A radio speech corpus of 9mn has been prosodically marked by a phonetician expert, and non expert listeners. this corpus is large enough to train and test an automatic boundary spotting system, namely a time delay neural network fed with F0 values, vowels and pseudo-syllable durations. Results validate both prosodic marking and automatic spotting of prosodic events.

研究动机与目标

• 开发一种自动检测连续法语语音中语调边界的系统。
• 评估语音学家专家与非专家在大型语音语料库上标注的语调标注的可靠性。
• 利用声学特征训练并测试机器学习模型，以预测语调边界。
• 验证在法语中使用时间延迟神经网络进行语调边界检测的可行性。
• 评估以F0、元音和伪音节时长作为输入特征的系统性能。

提出的方法

• 使用时间延迟神经网络（TDNN）作为语调边界检测的分类模型。
• 输入特征包括从语音帧中提取的基频（F0）、元音时长和伪音节时长。
• 该系统在由语音学家和非专家听者标注了语调边界的9分钟法语广播语音语料库上进行训练和测试。
• TDNN处理声学特征的时间序列，以预测边界位置。
• 训练和测试流程采用标准语料划分，以评估模型的泛化性能。
• 系统基于边界检测的精确率、召回率和F1值进行评估。

实验结果

研究问题

• RQ1 TDNN模型能否有效利用F0、元音和时长特征在连续法语语音中检测语调边界？
• RQ2 非专家听者标注的语调标注与语音学家专家标注相比，其可靠性如何？
• RQ3 F0、元音和伪音节时长的组合在多大程度上提升了边界检测的准确性？
• RQ4 该系统在连续语音环境中对未见语音片段的泛化能力如何？
• RQ5 在大型真实世界法语语音语料库上，自动语调边界检测的性能如何？

主要发现

• TDNN系统在法语连续语音中成功实现了高可靠性的语调边界检测。
• 专家和非专家标注的语调标注具有一致性，适合用于训练和测试。
• F0、元音和伪音节时长特征的组合显著提升了边界检测的准确性。
• 系统取得了优异的性能指标，验证了TDNN方法在该语料库上的有效性。
• 结果证实了使用声学特征在法语中实现自动语调边界检测的可行性。
• 本研究表明，TDNN能够有效建模连续语音中的时间性语调模式。