[论文解读] Why has (reasonably accurate) Automatic Speech Recognition been so hard to achieve?

Steven Wegmann, Larry Gillick|arXiv (Cornell University)|Feb 28, 2010

Speech Recognition and Synthesis参考文献 14被引用 4

一句话总结

本文研究了尽管经过数十年的发展，自动语音识别（ASR）系统为何仍存在较高的错误率，认为根本原因在于HMM模型对语音帧之间统计独立性的假设。通过将真实测试数据重采样以满足HMM的马尔可夫假设（同时违反对角高斯输出假设），该方法将词错误率（WER）降低至0.5%，证明了数据相关的统计依赖性而非模型结构，才是错误的主要原因。

ABSTRACT

Hidden Markov models (HMMs) have been successfully applied to automatic speech recognition for more than 35 years in spite of the fact that a key HMM assumption -- the statistical independence of frames -- is obviously violated by speech data. In fact, this data/model mismatch has inspired many attempts to modify or replace HMMs with alternative models that are better able to take into account the statistical dependence of frames. However it is fair to say that in 2010 the HMM is the consensus model of choice for speech recognition and that HMMs are at the heart of both commercially available products and contemporary research systems. In this paper we present a preliminary exploration aimed at understanding how speech data depart from HMMs and what effect this departure has on the accuracy of HMM-based speech recognition. Our analysis uses standard diagnostic tools from the field of statistics -- hypothesis testing, simulation and resampling -- which are rarely used in the field of speech recognition. Our main result, obtained by novel manipulations of real and resampled data, demonstrates that real data have statistical dependency and that this dependency is responsible for significant numbers of recognition errors. We also demonstrate, using simulation and resampling, that if we `remove' the statistical dependency from data, then the resulting recognition error rates become negligible. Taken together, these results suggest that a better understanding of the structure of the statistical dependency in speech data is a crucial first step towards improving HMM-based speech recognition.

研究动机与目标

• 调查为何基于HMM的ASR系统尽管经过数十年的优化，仍表现出较高的词错误率（WER）。
• 挑战HMM对角高斯输出模型是主要错误来源的假设，提出真实语音数据中的统计依赖性才是根本原因。
• 通过合成数据生成和重采样技术，评估违反HMM独立性假设对识别性能的影响。
• 证明真实数据偏离HMM假设（尤其是帧间统计依赖性）会显著降低性能。
• 为未来建模帧与状态间得分相关性奠定基础，以提升ASR准确率。

提出的方法

• 通过从训练好的HMM中模拟生成伪话语，创建严格满足HMM假设（包括帧独立性和对角高斯输出）的数据。
• 对来自WSJ语料库的真实测试数据进行重采样，以保持原始的声学得分分布，同时强制执行HMM兼容的帧顺序，从而生成满足马尔可夫假设但不满足对角高斯输出假设的数据。
• 使用词错误率（WER）作为主要指标，比较真实数据、满足所有模型假设的模拟数据以及仅满足马尔可夫假设的重采样数据的识别性能。
• 分析HMM状态的声学得分，测量相邻帧及相邻状态之间的相关性，评估统计依赖性的强度。
• 通过比较不同模型复杂度（如单峰模型与10分量GMM）下的识别性能，将模型复杂度的影响与数据依赖性效应分离开来。
• 将HMM得分输出视为一维代理，研究其统计特性及与模型假设的偏离程度，而无需依赖原始特征。

实验结果

研究问题

• RQ1 HMM帧独立性假设的违反在多大程度上导致了真实ASR系统中的高词错误率？
• RQ2 即使对角高斯输出假设被违反，通过重采样强制真实测试数据满足HMM的马尔可夫假设，是否能显著降低WER？
• RQ3 相邻帧及相邻状态之间的声学得分统计相关性有多强？这种相关性是否因说话人或语速模式而异？
• RQ4 在最先进HMM系统中观察到的残余错误率（约5%）是否主要归因于数据相关的统计依赖性，而非模型局限性？
• RQ5 判别式训练（如MMI）带来的性能提升，是否是通过间接补偿未建模的得分相关性实现的？

主要发现

• 将真实测试数据重采样以满足HMM的马尔可夫假设，可使WER从18%降低至0.5%，证明数据相关的统计依赖性是主要错误来源。
• 在从HMM模型模拟生成的伪话语上，识别性能的WER为0.2%，证实当模型假设被满足时，模型表现近乎完美。
• 重采样数据的WER（0.5%）几乎与完全模拟数据（0.2%）相当，表明对角高斯输出假设并非主要瓶颈。
• 在来自同一状态的相邻帧声学得分之间发现了显著相关性，且出人意料的是，相邻状态的前导得分之间也存在几乎同等强度的相关性。
• 说话人效应对观察到的统计依赖性贡献甚微，表明相关性结构更可能与语音产生动力学相关，而非说话人特异性差异。
• 最先进HMM系统中残余的约5%错误率，很可能是由于真实语音数据中未建模的统计依赖性所致，而非HMM框架本身存在缺陷。