[论文解读] Powering Hidden Markov Model by Neural Network based Generative Models

Dong Liu, Antoine Honoré+2 more|arXiv (Cornell University)|Oct 13, 2019

Speech Recognition and Synthesis参考文献 24被引用 10

一句话总结

该论文提出GenHMM，一种通过基于神经网络的生成模型增强的新型隐马尔可夫模型，其中每个隐状态使用基于流的生成器混合模型，实现可追踪的、精确的似然计算。该模型在语音分类任务中性能优于GMM-HMM，在干净和噪声条件下，音素识别准确率最高提升13.2%，通过在EM框架内引入深度生成组件，展现出更强的建模能力与鲁棒性。

ABSTRACT

Hidden Markov model (HMM) has been successfully used for sequential data modeling problems. In this work, we propose to power the modeling capacity of HMM by bringing in neural network based generative models. The proposed model is termed as GenHMM. In the proposed GenHMM, each HMM hidden state is associated with a neural network based generative model that has tractability of exact likelihood and provides efficient likelihood computation. A generative model in GenHMM consists of mixture of generators that are realized by flow models. A learning algorithm for GenHMM is proposed in expectation-maximization framework. The convergence of the learning GenHMM is analyzed. We demonstrate the efficiency of GenHMM by classification tasks on practical sequential data. Code available at https://github.com/FirstHandScientist/genhmm.

研究动机与目标

• 解决传统GMM-HMM在建模复杂、非线性序列数据分布方面的局限性。
• 开发一种基于神经网络生成器的高容量生成HMM框架。
• 通过基于流的归一化流实现在HMM中精确且高效的似然计算。
• 为所提出的模型提供一种训练算法，在保持EM简单性的同时支持灵活且高容量的生成组件。
• 通过实证验证该模型在真实世界序列数据分类任务中的优越性，尤其在噪声条件下。

提出的方法

• GenHMM用基于流的生成模型混合取代HMM每个状态的标准GMM发射模型，通过变量变换公式实现精确似然计算。
• 混合中的每个生成器均实现为归一化流，支持可逆、可微变换，实现可追踪的概率密度估计。
• 该模型采用期望最大化（EM）框架进行训练，M步中使用随机梯度下降优化流参数。
• EM算法在弱正则性条件下保证收敛，实现与GMM-HMM类似的稳定训练。
• 每个状态的发射概率建模为流的混合，使模型能够捕捉复杂、非线性的数据流形。
• 该框架支持生成式与判别式评估，实验基于MFCC特征在TIMIT音素识别数据集上进行。

实验结果

研究问题

• RQ1 基于神经网络的生成模型能否提升HMM对序列数据的建模能力？
• RQ2 能否通过将归一化流作为发射模型，在HMM中高效实现精确似然计算？
• RQ3 所提出的GenHMM在真实世界序列数据的分类准确率上是否优于标准GMM-HMM？
• RQ4 与GMM-HMM相比，GenHMM在语音识别任务中对输入噪声的鲁棒性如何？
• RQ5 基于EM的训练框架能否有效应用于深度生成HMM，而无需分层或端到端调优？

主要发现

• 在干净TIMIT数据（39个音素）上，GenHMM测试准确率达到77.7%，显著优于GMM-HMM在相同条件下的68.0%。
• 在30dB白噪声测试数据上，GenHMM保持74.3%的准确率，而GMM-HMM下降至57.1%，表明其具有更强的鲁棒性。
• 在20dB粉红噪声条件下，GenHMM准确率达到65.1%，而GMM-HMM仅为48.8%，表明在各类噪声下均保持一致优势。
• 在61个音素设置下，GenHMM准确率达到52.3%（K=5），优于GMM-HMM的42.2%，证明其可扩展性与泛化能力。
• 在最具挑战性的噪声条件（30dB白噪声）下，GenHMM相比GMM-HMM实现了13.2%的绝对准确率提升，凸显其抗干扰能力。
• 在所有噪声类型和信噪比水平下，GenHMM的精确率与F1分数均高于GMM-HMM，证实其性能提升的一致性。