[论文解读] Neural Machine Translation via Binary Code Prediction

Yusuke Oda, Philip Arthur+3 more|arXiv (Cornell University)|Apr 23, 2017

Natural Language Processing Techniques参考文献 22被引用 3

一句话总结

本文提出一种神经机器翻译模型，用二进制码预测替代标准的softmax输出层，将内存使用量和解码时间减少最多10倍，同时BLEU分数与完整softmax模型相近。该方法采用混合预测（高频词使用softmax，低频词使用二进制码）与纠错码技术，提升鲁棒性，实现更快的CPU推理速度和显著减少的参数量。

ABSTRACT

In this paper, we propose a new method for calculating the output layer in neural machine translation systems. The method is based on predicting a binary code for each word and can reduce computation time/memory requirements of the output layer to be logarithmic in vocabulary size in the best case. In addition, we also introduce two advanced approaches to improve the robustness of the proposed model: using error-correcting codes and combining softmax and binary codes. Experiments on two English-Japanese bidirectional translation tasks show proposed models achieve BLEU scores that approach the softmax, while reducing memory usage to the order of less than 1/10 and improving decoding speed on CPUs by x5 to x10.

研究动机与目标

• 解决标准softmax输出层在大规模词表下带来的高内存与计算成本问题。
• 开发一种将输出层计算与内存降低至O(log V)而非O(V)的方法，以实现在资源受限系统中的高效部署。
• 提升二进制码预测的鲁棒性，因其在词表示中易受位级错误影响。
• 在大幅减少模型大小与推理时间的同时，保持具有竞争力的翻译质量（BLEU分数）。
• 在保证训练阶段支持高效小批量处理与GPU优化的同时，确保生产环境中CPU推理的高效性。

提出的方法

• 模型将标准softmax输出层替换为二进制码表示，每个词编码为长度为log₂V的二进制向量，将计算量与参数量降低至O(log V)。
• 引入混合预测模型，其中高频词通过标准softmax预测，低频词通过学习得到的二进制码预测，从而提升整体准确率。
• 对二进制表示应用纠错码（特别是卷积码），支持通过Viterbi解码纠正位错误，增强鲁棒性。
• 采用两阶段预测机制：首先预测二进制码的各个位，然后通过Viterbi解码（使用纠错码）或直接映射（使用简单二进制码）解码出最终词语。
• 训练目标是最小化真实独热词向量与由二进制码预测推导出的概率分布之间的交叉熵。
• 该方法设计为兼容小批量处理与高效的GPU训练，同时由于输出层复杂度降低，支持快速的CPU推理。

实验结果

研究问题

• RQ1 在神经机器翻译中，输出层使用二进制码预测是否能有效降低内存与计算成本，同时保持具有竞争力的BLEU分数？
• RQ2 与纯二进制码预测相比，混合预测（softmax + 二进制码）在提升准确率方面的有效性如何？
• RQ3 纠错码能否显著提升神经机器翻译模型中二进制码预测的鲁棒性？
• RQ4 与标准softmax相比，该方法在CPU上能将推理时间与内存使用量降低多少？
• RQ5 该方法是否兼容大规模神经机器翻译系统中高效的批量处理与GPU训练？

主要发现

• 所提出的Binary-EC模型将输出层内存使用量减少至标准softmax的1/10以下，参数量减少超过10倍。
• 在CPU推理中，所提模型的解码速度相比标准softmax提升5至10倍，部分配置甚至达到20倍加速。
• Hybrid-N-EC模型在BTEC英语-日语翻译任务上的BLEU分数与标准softmax相当或更高，尽管参数量远少于后者。
• 仅使用简单二进制码的模型表现较差（BLEU显著更低），表明鲁棒性至关重要，纠错与混合预测对性能不可或缺。
• 带有纠错的混合模型（Binary-EC）的BLEU分数高于无纠错的混合模型，即使参数量仅为后者的1/10，表明冗余比增量预测更能提升准确率。
• BLEU与模型大小之间的权衡曲线表明，对于较简单的数据集（如BTEC），较小的softmax层（N ≤ 1024）已足够；而对于更难的数据集（如ASPEC），需更大的层才能达到性能饱和。