[论文解读] When to Finish? Optimal Beam Search for Neural Text Generation (modulo beam size)

Liang Huang, Kai Zhao+1 more|arXiv (Cornell University)|Aug 31, 2018

Natural Language Processing Techniques被引用 5

一句话总结

本文提出了一种可证明最优的束搜索算法用于神经文本生成，通过动态确定束搜索终止时机，确保在束大小限制下返回最高得分的完整假设，从而在不进行无谓计算的前提下保证最优性。此外，该方法引入了一种有界长度奖励机制，以抵消神经模型倾向于生成过短输出的倾向，即使在使用长度正则化时也能实现最优性能，并在机器翻译任务中持续提升BLEU分数，优于现有方法。

ABSTRACT

In neural text generation such as neural machine translation, summarization, and image captioning, beam search is widely used to improve the output text quality. However, in the neural generation setting, hypotheses can finish in different steps, which makes it difficult to decide when to end beam search to ensure optimality. We propose a provably optimal beam search algorithm that will always return the optimal-score complete hypothesis (modulo beam size), and finish as soon as the optimality is established (finishing no later than the baseline). To counter neural generation's tendency for shorter hypotheses, we also introduce a bounded length reward mechanism which allows a modified version of our beam search algorithm to remain optimal. Experiments on neural machine translation demonstrate that our principled beam search algorithm leads to improvement in BLEU score over previously proposed alternatives.

研究动机与目标

• 为解决现有神经文本生成束搜索策略中缺乏理论最优性的问题，即假设可能在不同步骤终止。
• 开发一种束搜索算法，确保无论假设在何时终止，都能返回最优得分的完整假设。
• 解决最优性与长度归一化或长度奖励之间的矛盾，后者通常会破坏最优束搜索的性质。
• 引入一种有界长度奖励机制，在保持最优性的同时减轻生成过短假设的问题。
• 在神经机器翻译任务上实证验证所提方法，显示其在BLEU分数上持续优于强基线方法。

提出的方法

• 提出一种束搜索变体，维持大小为b的束，并动态追踪所有步骤中最佳得分的完整假设，通过避免过早终止来确保最优性。
• 引入一种终止条件，基于最高得分不完整假设的得分，判断当前束中最佳得分完整假设是否已被保证为最优。
• 采用有界长度奖励机制，奖励仅在达到最大阈值前应用，从而保持束搜索算法的最优性。
• 修改假设评分函数，引入基于长度的奖励，该奖励被预设值上限限制，防止对较短序列的过度惩罚。
• 采用动态停止规则：仅当束中最佳得分完整假设无法被任何不完整假设的扩展所超越时，束搜索才终止。
• 在束搜索评分函数中集成有界长度奖励，同时通过谨慎的分数传播与剪枝策略，保持算法的理论最优性。

实验结果

研究问题

• RQ1 能否设计一种束搜索算法，确保即使假设在不同步骤终止，也能返回最优得分的完整假设？
• RQ2 如何在保持束搜索最优性的同时，解决神经文本生成中常见生成序列过短的问题？
• RQ3 在束搜索中使用长度归一化或长度奖励是否必然破坏最优性？若如此，应如何解决？
• RQ4 能否设计一种有界长度奖励机制，使其在保持束搜索最优性的同时，提升生成输出的流畅性与长度？
• RQ5 所提出的最优束搜索结合有界长度奖励，在神经机器翻译任务中对标准评估指标（如BLEU）的实证影响如何？

主要发现

• 所提出的最优束搜索算法在束大小为15时，相比贪婪搜索（束大小1）实现+5.0的BLEU提升，优于所有基线方法。
• 在测试集上，该方法在束大小15、长度奖励r=1.2时达到30.61 BLEU，超过OpenNMT-py的默认束搜索（29.75 BLEU）和使用长度奖励的缩减束方法（30.37 BLEU）。
• 纯最优束搜索在束大小超过4后性能下降，原因是翻译结果极度短，凸显了长度正则化的必要性。
• 当r=1.2、b=15时，有界长度奖励机制表现最佳，长度比为0.97，表明在不牺牲最优性的同时提升了流畅性。
• 该方法甚至优于强大的Moses SMT系统（29.41 BLEU）和RNNsearch基线（30.70 BLEU），证明其在神经生成中的优越性。
• 在OpenNMT-py的基线束搜索代码中发现一个独立的错误修复，使所有设置下的BLEU提升+0.7，进一步验证了所提方法的稳健性。