[论文解读] Training Restricted Boltzmann Machines on Word Observations

George E. Dahl, Ryan P. Adams+1 more|arXiv (Cornell University)|Feb 25, 2012

Topic Modeling参考文献 25被引用 50

一句话总结

本文提出了一种适用于大规模词汇量词观测的受限玻尔兹曼机（RBMs）的可扩展训练方法，采用马尔可夫链蒙特卡洛（Metropolis–Hastings MCMC）更新，使计算复杂度与词汇量无关。该方法在未使用无标签数据的情况下，在大型电影评论数据集上实现了最先进的情感分类准确率（89.23%），有效学习了句法和语义n-gram特征。

ABSTRACT

The restricted Boltzmann machine (RBM) is a flexible tool for modeling complex data, however there have been significant computational difficulties in using RBMs to model high-dimensional multinomial observations. In natural language processing applications, words are naturally modeled by K-ary discrete distributions, where K is determined by the vocabulary size and can easily be in the hundreds of thousands. The conventional approach to training RBMs on word observations is limited because it requires sampling the states of K-way softmax visible units during block Gibbs updates, an operation that takes time linear in K. In this work, we address this issue by employing a more general class of Markov chain Monte Carlo operators on the visible units, yielding updates with computational complexity independent of K. We demonstrate the success of our approach by training RBMs on hundreds of millions of word n-grams using larger vocabularies than previously feasible and using the learned features to improve performance on chunking and sentiment classification tasks, achieving state-of-the-art results on the latter.

研究动机与目标

• 解决由于在大规模词汇量上进行线性时间吉布斯采样而导致在高维多项式词观测上训练RBMs计算不可行的问题。
• 通过用与词汇量无关的MCMC算子替代标准吉布斯采样，实现在词汇量达数十万的词n-gram上高效学习。
• 证明RBMs学习到的特征能够捕捉词语和n-gram的有意义句法和语义特性，适用于下游自然语言处理任务。
• 仅使用有标签数据，不依赖外部无监督预训练，实现情感分类的最先进性能。

提出的方法

• 用马尔可夫链蒙特卡洛（Metropolis–Hastings）MCMC转移替代对K元softmax可见单元的传统块吉布斯采样，实现每步更新的复杂度为O(1)，与词汇量K无关。
• 在可见单元状态上使用简单的对称提议分布，可在无需对所有K个状态显式归一化的情况下实现高效拒绝采样。
• 采用随机梯度下降法，利用MCMC样本近似对数似然梯度的正相和负相期望，通过蒙特卡洛估计计算梯度。
• 将该方法应用于训练包含数亿个n-gram的词表示RBMs，学习到能捕捉语义和句法模式的分布式特征。
• 使用针对类别的WRRBMs在正面和负面情感文档上进行训练，以提取n-gram自由能特征用于情感分类。
• 通过加权归一化将学习到的n-gram特征与词袋特征结合，并使用线性SVM进行最终分类训练。

实验结果

研究问题

• RQ1 能否在非常大的词汇量（例如100,000个以上词）的词观测上高效训练RBMs，而不会导致词汇量线性增长的计算成本？
• RQ2 RBMs在词n-gram上学习到的特征是否能捕捉对自然语言处理任务有用的有意义句法和语义信息？
• RQ3 基于RBMs的特征是否能在情感分类任务中优于或补充现有方法，尤其是在不使用无标签数据的情况下？
• RQ4 是否可能仅使用有标签数据和RBMs衍生的n-gram表示，实现情感分类的最先进性能？

主要发现

• 所提出的基于马尔可夫链蒙特卡洛的训练方法使RBMs的训练复杂度与词汇量无关，从而实现了大规模词汇量训练的可行性。
• 该模型成功学习到了能捕捉句法和语义特性的词语和n-gram分布式表示，表现为有意义的最近邻词聚类。
• 在分块任务中，学习到的特征性能与其它词表示学习方法相当。
• 在大型电影评论情感分类基准上，仅使用类别特定的WRRBMs，该方法实现了87.42%的准确率，优于先前使用更复杂架构或额外数据的方法。
• 当与词袋特征结合时，该方法在测试集上达到89.23%的准确率，是该基准上在不使用无标签数据情况下的最佳已知结果。
• 结果表明，当通过高效的MCMC采样实现大规模词汇量的可扩展训练时，基于RBMs的模型在自然语言处理任务中可表现出极高的有效性。