[论文解读] Neural Sequence Prediction by Coaching.

Wenhu Chen, Guanlin Li+4 more|arXiv (Cornell University)|Jun 28, 2017

Topic Modeling被引用 1

一句话总结

本文提出生成桥接网络（GBN），一种新颖的训练框架，通过引入桥接模块缓解最大似然估计中的数据稀疏性和过拟合问题，从而提升序列预测性能。通过最小化生成器输出与基于真实标签条件化的桥接分布之间的KL散度，GBN增强了模型置信度、语言流畅性及训练效率，在机器翻译和生成式摘要任务中取得显著性能提升。

ABSTRACT

In order to alleviate data sparsity and overfitting problems in maximum likelihood estimation (MLE) for sequence prediction tasks, we propose the Generative Bridging Network (GBN), in which a novel bridge module is introduced to assist the training of the sequence prediction model (the generator network). Unlike MLE directly maximizing the conditional likelihood, the bridge extends the point-wise ground truth to a bridge distribution conditioned on it, and the generator is optimized to minimize their KL-divergence. Three different GBNs, namely uniform GBN, language-model GBN and coaching GBN, are proposed to penalize confidence, enhance language smoothness and relieve learning burden. Experiments conducted on two recognized sequence prediction tasks (machine translation and abstractive text summarization) show that our proposed GBNs can yield significant improvements over strong baselines. Furthermore, by analyzing samples drawn from different bridges, expected influences on the generator are verified.

研究动机与目标

• 针对通过最大似然估计训练的序列预测模型中存在的数据稀疏性与过拟合问题。
• 通过用基于桥接的优化目标替代直接似然最大化，提升模型泛化能力与训练稳定性。
• 通过统一、语言模型与教学式GBN三种不同桥接变体，提升模型置信度、流畅性与学习效率。
• 在标准序列生成基准上实证验证所提框架的有效性。

提出的方法

• 引入桥接模块，将点状真实标签转换为分布形式，从而提供更鲁棒的训练信号。
• 通过最小化生成器输出与桥接分布之间的KL散度来优化生成器，而非直接最大化似然。
• 设计三种变体：统一GBN用于置信度正则化，语言模型GBN用于提升流畅性，教学式GBN用于减轻学习负担。
• 使用基于桥接的优化目标端到端训练生成器，其中桥接分布以真实标签序列作为条件。
• 利用桥接分布指导生成器在训练过程中生成更具多样性与合理性的输出。
• 将该框架应用于机器翻译与生成式摘要等序列预测任务。

实验结果

研究问题

• RQ1 能否通过用基于桥接的目标替代直接似然最大化，缓解序列建模中的过拟合与数据稀疏性问题？
• RQ2 桥接分布如何影响生成器的置信度与输出质量？
• RQ3 不同桥接设计（统一、语言模型与教学式）在多大程度上可提升模型性能与训练动态？
• RQ4 桥接模块是否能在不增加额外训练数据的前提下提升生成序列的流畅性与多样性？
• RQ5 不同桥接分布生成的样本如何影响最终生成器的行为？

主要发现

• 所提出的GBN框架在机器翻译与生成式文本摘要任务中均显著优于强基线模型。
• 教学式GBN变体有效减轻了生成器的学习负担，实现更快收敛与更优性能。
• 语言模型GBN通过将n-gram语言建模信号引入训练目标，显著提升了输出流畅性。
• 统一GBN变体成功对模型置信度进行正则化，降低了预测中的过度自信现象。
• 对不同桥接分布生成样本的分析验证了其对生成器的预期影响，证实了该框架的设计原理。
• 基于桥接的训练目标相比标准MLE训练，能生成更具多样性与合理性的输出。