[论文解读] The Perceptimatic English Benchmark for Speech Perception Models

Juliette Millet, Ewan Dunbar|arXiv (Cornell University)|May 7, 2020

Speech Recognition and Synthesis参考文献 23被引用 7

一句话总结

Perceptimatic English Benchmark（PEB）是一个开放的、生态有效的数据集，包含来自LibriVox的自然语音片段的ABX辨别任务，旨在评估计算模型在人类语音感知方面的表现。研究发现，像DeepSpeech这样的标准英语语音识别器在预测人类感知方面，不如多语种模型或短时长声学事件模型，表明其在英语音素辨别方面存在过度专业化的问题。

ABSTRACT

We present the Perceptimatic English Benchmark, an open experimental benchmark for evaluating quantitative models of speech perception in English. The benchmark consists of ABX stimuli along with the responses of 91 American English-speaking listeners. The stimuli test discrimination of a large number of English and French phonemic contrasts. They are extracted directly from corpora of read speech, making them appropriate for evaluating statistical acoustic models (such as those used in automatic speech recognition) trained on typical speech data sets. We show that phone discrimination is correlated with several types of models, and give recommendations for researchers seeking easily calculated norms of acoustic distance on experimental stimuli. We show that DeepSpeech, a standard English speech recognizer, is more specialized on English phoneme discrimination than English listeners, and is poorly correlated with their behaviour, even though it yields a low error on the decision task given to humans.

研究动机与目标

• 开发一个开放的、生态有效的基准，用于评估基于真实连续语音的计算模型在人类语音感知方面的表现。
• 评估各种语音处理模型（尤其是为自动语音识别训练的模型）对人类感知数据的预测能力。
• 识别哪些模型架构在音素对比（尤其是母语与非母语语言之间）的人类辨别行为预测方面表现更优。
• 提供一个标准化的、开放获取的资源，用于在来自自然语音语料库的感知相关刺激上比较不同模型。
• 推荐易于计算的声学距离度量，其与人类感知表现具有相关性。

提出的方法

• 该基准采用ABX辨别任务，听者判断两个参考刺激（A或B）中哪一个与探测刺激（X）更相似，其中A与B之间仅中间音素不同。
• 刺激从LibriVox语料库中的连续语音中提取为三个连续音素的序列，以确保自然语调和上下文。
• A与B由同一说话人朗读，以消除说话人差异的影响，而X由不同说话人朗读，以聚焦于语音内容。
• 刺激包含5202组三元组，涵盖461种不同的音素对比（212种英语，249种法语），通过控制语音上下文以最小化音位变体的影响。
• 使用多种模型计算声学距离度量，包括DeepSpeech、多语种模型以及基于DPGMM的短时长声学事件模型。
• 人类表现以听者平均准确率衡量，模型预测与这些标准值进行相关性分析，以评估其预测有效性。

实验结果

研究问题

• RQ1 标准自动语音识别模型在预测人类在音素辨别任务中的表现方面表现如何？
• RQ2 在非英语语音或短时长声学事件上训练的模型，相比专为英语音素识别优化的模型，其预测人类感知的能力提升程度如何？
• RQ3 不同模型估算的感知距离与人类在ABX任务中的准确率之间的相关性如何？
• RQ4 与孤立词表刺激相比，使用自然连续语音刺激是否能带来更生态有效的模型评估？
• RQ5 能否通过模型计算出的易于获取的声学距离度量，作为人类感知辨别能力的可靠代理？

主要发现

• 尽管DeepSpeech在决策任务中误差率较低，但其与人类听者表现的相关性较差，尤其在非英语对比中表现更差。
• 多语种模型和基于DPGMM的短时长声学事件模型在预测人类感知方面优于DeepSpeech，表明它们对英语音素的过度专业化程度较低。
• DeepSpeech的可辨别性得分中显现出明显分离：英语对比的得分较高，而法语对比的得分较低，表明其对母语语言存在过拟合。
• 人类听者在法语对比任务中的表现仅略有下降，表明他们可能在该任务中更依赖声学细节而非音位类别。
• PEB数据集是首个系统性地使用自然语音评估广泛音素对比的开放基准，可直接与计算模型进行比较。
• 本研究建议将多语种模型作为可靠的即插即用型感知距离代理，因其与人类行为具有强相关性。