[论文解读] Unsupervised Neural Hidden Markov Models

Ke Tran, Yonatan Bisk+3 more|arXiv (Cornell University)|Sep 28, 2016

Topic Modeling参考文献 26被引用 8

一句话总结

本文提出无监督神经隐马尔可夫模型（NHMMs），利用神经网络参数化HMM势函数，并通过前向-后向算法的端到端反向传播来最大化边缘似然。该方法在词性标注诱导任务上表现优异，优于传统生成模型，且在更简单、模块化的架构下实现了与最先进方法相当的性能，能够轻松整合上下文与形态信息。

ABSTRACT

In this work, we present the first results for neuralizing an Unsupervised Hidden Markov Model. We evaluate our approach on tag in- duction. Our approach outperforms existing generative models and is competitive with the state-of-the-art though with a simpler model easily extended to include additional context.

研究动机与目标

• 通过将隐马尔可夫模型神经化，弥合神经网络与无监督图模型之间的差距。
• 证明通过边缘似然优化与神经势函数进行端到端训练，可超越更复杂的推理密集型模型。
• 实现上下文特征（如RNN、CNN）与形态信息在潜在变量模型中的模块化集成。
• 探索神经网络在传统特征工程普遍存在的无监督设置中的有效性。

提出的方法

• 使用神经网络参数化HMM势函数：ψ(z,x|θ) = f_NN(z,x|θ)，以学习表征替代手工设计特征。
• 通过标准前向-后向算法进行推理，计算后验分布p(z|x)。
• 通过后验分布反向传播对数似然梯度，以优化模型参数θ。
• 采用EM算法框架，其中E步计算后验分布，M步通过期望完整数据对数似然的梯度上升更新参数。
• 整合LSTM用于句子级上下文，CNN用于形态特征，以增强输入表征。
• 基于梯度优化边缘似然E_{p(z|x)}[log p(x,z|θ)]，通过后验期望使用重参数化技巧计算梯度。

实验结果

研究问题

• RQ1 在无显式监督的无监督设置下，神经网络能否有效用于参数化HMM势函数？
• RQ2 通过后验分布进行端到端反向传播训练，是否优于使用手工特征的传统EM算法？
• RQ3 额外的上下文特征（如LSTM）与形态信息（通过CNN）在标注诱导任务中的影响如何？
• RQ4 权重初始化与正则化（如Dropout）等架构选择在无监督训练中的影响程度如何？
• RQ5 简单的神经HMM架构能否在无监督NLP任务中达到与最先进模型相当的性能？

主要发现

• NHMM在词性标注诱导任务上优于现有生成模型，最佳配置下V-Measure达到71.7。
• 引入LSTM上下文与CNN形态特征均带来显著性能提升，联合改进使V-Measure从基线65.5提升至71.7，总提升16个百分点。
• 权重初始化对性能影响显著：在±10⁻⁴范围内均匀初始化使V-Measure降至61.7，凸显无监督训练中谨慎初始化的重要性。
• Dropout至关重要：移除Dropout导致V-Measure下降6个百分点，表明正则化对稳定训练必不可少。
• 使用三层LSTM比单层LSTM性能提升近5个百分点，表明更深架构有利于无监督NHMM。
• 尽管架构简单且模块化，该模型在性能上仍可与最先进系统比肩，表明其具备强大的可扩展性与可扩展性。