[论文解读] Scalable Bayesian Learning of Recurrent Neural Networks for Language Modeling

Zhe Gan, Chunyuan Li+4 more|arXiv (Cornell University)|Nov 23, 2016

Topic Modeling参考文献 65被引用 7

一句话总结

该论文提出了一种基于随机梯度马尔可夫链蒙特卡洛（SG-MCMC）的可扩展贝叶斯学习框架，用于循环神经网络（RNNs），通过在训练过程中注入梯度噪声来探索模型参数空间，并在测试时对多个样本的预测结果进行平均。该方法在语言建模、图像字幕生成和句子分类任务中均优于标准随机优化方法，且计算开销极低。

ABSTRACT

Recurrent neural networks (RNNs) have shown promising performance for language modeling. However, traditional training of RNNs using back-propagation through time often suffers from overfitting. One reason for this is that stochastic optimization (used for large training sets) does not provide good estimates of model uncertainty. This paper leverages recent advances in stochastic gradient Markov Chain Monte Carlo (also appropriate for large training sets) to learn weight uncertainty in RNNs. It yields a principled Bayesian learning algorithm, adding gradient noise during training (enhancing exploration of the model-parameter space) and model averaging when testing. Extensive experiments on various RNN models and across a broad range of applications demonstrate the superiority of the proposed approach over stochastic optimization.

研究动机与目标

• 解决由随机优化方法中权重点估计导致的RNN语言模型过拟合问题。
• 以可扩展的方式将模型不确定性整合到RNN中，适用于大规模序列数据集。
• 将先前仅用于前馈网络的SG-MCMC方法扩展至循环架构，实现原则性的贝叶斯学习。
• 在语言建模、图像字幕生成和句子分类等NLP任务中提升泛化能力和鲁棒性。
• 证明对SG-MCMC样本进行模型平均可获得优于标准SGD或RMSProp的性能。

提出的方法

• 利用随机梯度洛伦兹动力学（SGLD）在RNN中执行贝叶斯学习，通过在训练过程中注入梯度噪声，以促进对参数空间的探索。
• 采用SGLD的后验近似方法，其中集成中的每个网络均使用注入噪声的梯度进行训练，从而实现基于样本的权重不确定性估计。
• 在测试时对多个SGLD样本进行模型平均，以提升预测鲁棒性并减少过拟合。
• 使用小批量梯度以保持计算效率，使该方法可扩展至如NLP中常见的大规模训练集。
• 将dropout作为基线进行比较，但结果表明SG-MCMC能对所有权重（包括循环连接）提供更全面的不确定性建模。
• 在推理阶段采用蒸馏技术以降低推理成本，通过单个网络近似集成输出。

实验结果

研究问题

• RQ1 SG-MCMC能否在保持对大规模序列数据集可扩展性的前提下，有效应用于RNN训练？
• RQ2 与标准随机优化相比，在训练过程中注入梯度噪声是否能提升RNN的泛化能力和不确定性估计？
• RQ3 在NLP任务中，对SGLD样本进行模型平均与点估计或dropout相比，其测试性能如何？
• RQ4 所提出的贝叶斯RNN框架能否有效处理多样化的NLP任务，包括语言建模、图像字幕生成和句子分类？
• RQ5 权重不确定性对预测置信度的影响如何，特别是在模糊或困难样本上？

主要发现

• 所提出的pSGLD + 模型平均方法在所有评估任务中均持续优于RMSProp和SGD，包括在PTB数据集上的字符级和词级语言建模任务。
• 在TREC句子分类数据集上，pSGLD结合dropout实现了最低的测试误差率，表明其具备更优的泛化能力和鲁棒性。
• 在图像字幕生成任务中，该方法生成了多样且语境恰当的字幕，且具备不确定性感知的采样机制，能产生有意义的描述差异（如狗的颜色和活动）。
• t-SNE可视化显示，具有高预测不确定性的模糊测试句子位于类别边界附近，且模型对错误类别分配了更高的标准差，表明其不确定性量化具有可靠性。
• 消融实验确认，梯度噪声和模型平均均不可或缺；仅使用其中一项无法获得与完整方法相当的性能提升。
• 训练时间开销极低，且通过知识蒸馏可有效降低推理成本，使该方法在实际部署中具备可行性。