[论文解读] Unsupervised neural and Bayesian models for zero-resource speech processing

Herman Kamper|arXiv (Cornell University)|Jan 3, 2017

Speech Recognition and Synthesis参考文献 108被引用 6

一句话总结

本论文提出了一种混合自上而下与自下而上的零资源语音处理方法，引入了对应自编码器（cAE）以实现判别性帧级表征学习，并采用分段贝叶斯模型实现无监督词切分与聚类。cAE 利用从发现的词项中获得的弱自上而下监督，使帧级表征学习的相对性能提升超过60%，而贝叶斯模型在数字识别任务中实现了约20%的词错误率（WER），并首次将完整覆盖的系统应用于大规模词汇量、多说话人数据。

ABSTRACT

In settings where only unlabelled speech data is available, zero-resource speech technology needs to be developed without transcriptions, pronunciation dictionaries, or language modelling text. There are two central problems in zero-resource speech processing: (i) finding frame-level feature representations which make it easier to discriminate between linguistic units (phones or words), and (ii) segmenting and clustering unlabelled speech into meaningful units. In this thesis, we argue that a combination of top-down and bottom-up modelling is advantageous in tackling these two problems. To address the problem of frame-level representation learning, we present the correspondence autoencoder (cAE), a neural network trained with weak top-down supervision from an unsupervised term discovery system. By combining this top-down supervision with unsupervised bottom-up initialization, the cAE yields much more discriminative features than previous approaches. We then present our unsupervised segmental Bayesian model that segments and clusters unlabelled speech into hypothesized words. By imposing a consistent top-down segmentation while also using bottom-up knowledge from detected syllable boundaries, our system outperforms several others on multi-speaker conversational English and Xitsonga speech data. Finally, we show that the clusters discovered by the segmental Bayesian model can be made less speaker- and gender-specific by using features from the cAE instead of traditional acoustic features. In summary, the different models and systems presented in this thesis show that both top-down and bottom-up modelling can improve representation learning, segmentation and clustering of unlabelled speech data.

研究动机与目标

• 开发无监督方法，直接从无标注语音中发现语言结构，从而实现在低资源环境下的语音技术。
• 解决判别性帧级表征学习与无标注语音的无监督切分/聚类这两大挑战。
• 研究在零资源语音处理中，自上而下（高层知识）与自下而上（底层特征）建模之间的协同作用。
• 将无监督系统扩展至大规模词汇量、多说话人对话数据，填补了先前研究中的主要空白。
• 通过混合表征减少发现的语音聚类中的说话人与性别差异。

提出的方法

• 提出一种对应自编码器（cAE），利用无监督词项发现系统提供的弱自上而下监督，指导帧级表征学习。
• cAE 通过在大规模无标注语音上进行自下而上的预训练进行初始化，使其能够学习高度判别性的特征。
• 提出一种新颖的分段贝叶斯模型，通过将可变时长的词候选嵌入到固定维数的声学表征空间中，实现联合切分与聚类。
• 该模型使用吉布斯采样器迭代优化词边界与聚类分配，同时学习声学词表征函数。
• 为提升在大规模词汇量上的可扩展性，使用音节边界检测作为自下而上的先验，以剪枝不合理的词边界。
• 将 cAE 特征整合进切分系统，以减少发现聚类中的说话人与性别特异性。

实验结果

研究问题

• RQ1 来自发现词项的弱自上而下监督是否能显著提升无监督帧级表征学习？
• RQ2 贝叶斯模型是否能通过固定维数的声学词嵌入，联合实现无标注语音的切分与聚类？
• RQ3 将自上而下的切分与自下而上的音节边界检测相结合，是否能提升在大规模词汇量、多说话人数据上的性能？
• RQ4 cAE 的混合表征在多大程度上能减少无监督语音聚类中的说话人与性别偏差？
• RQ5 所提出的模型在真实世界数据上的无监督词错误率与覆盖范围方面，与最先进系统相比表现如何？

主要发现

• 与先前最先进方法相比，cAE 在帧级表征学习方面实现了超过60%的相对性能提升，证明了自上而下监督的有效性。
• cAE 仅在通过无标注语音的自下而上预训练进行初始化后才能学习到有用的表征，凸显了两种学习模式的必要性。
• 分段贝叶斯模型在多说话人连贯数字识别任务中实现了约20%的词错误率（WER），相比先前基于HMM的系统绝对性能提升了约10%。
• 本工作首次将完整覆盖的无监督切分与聚类系统应用于大规模词汇量、多说话人对话语音数据。
• 将 cAE 特征整合进切分系统后，显著减少了发现聚类中的说话人与性别差异，提升了聚类纯度。
• 与纯粹基于自下而上音节的方法相比，本系统通过结合自上而下的切分与自下而上的音节边界检测，性能更优。