[论文解读] Translation Quality Estimation using Recurrent Neural Network

Raj Nath Patel, M. Sasikumar|arXiv (Cornell University)|Oct 16, 2016

Natural Language Processing Techniques被引用 8

一句话总结

该论文提出了一种基于改进的循环神经网络语言模型（RNN-LM）的语言无关性词与短语级翻译质量评估系统，该系统预测'OK'或'BAD'标签而非下一个词。该方法利用LSTM和GRU架构，结合预训练、双语特征和子标签技术以应对类别不平衡问题，在WMT16共享任务测试集上，BAD词的F1得分为41.92，BAD短语的F1得分为50.31。

ABSTRACT

This paper describes our submission to the shared task on word/phrase level Quality Estimation (QE) in the First Conference on Statistical Machine Translation (WMT16). The objective of the shared task was to predict if the given word/phrase is a correct/incorrect (OK/BAD) translation in the given sentence. In this paper, we propose a novel approach for word level Quality Estimation using Recurrent Neural Network Language Model (RNN-LM) architecture. RNN-LMs have been found very effective in different Natural Language Processing (NLP) applications. RNN-LM is mainly used for vector space language modeling for different NLP problems. For this task, we modify the architecture of RNN-LM. The modified system predicts a label (OK/BAD) in the slot rather than predicting the word. The input to the system is a word sequence, similar to the standard RNN-LM. The approach is language independent and requires only the translated text for QE. To estimate the phrase level quality, we use the output of the word level QE system.

研究动机与目标

• 开发一种语言无关的质量评估系统，可在无参考翻译的情况下预测机器翻译中词与短语的正确性。
• 解决翻译质量评估中类别分布极度不均（'OK'标签远多于'BAD'标签）的挑战。
• 通过在基于RNN的模型中引入双语上下文（源语言和目标语言），提升性能。
• 评估预训练、子标签和模型深度对质量评估性能的影响。
• 向WMT16共享任务提交一个具有竞争力的词与短语级质量评估系统。

提出的方法

• 将RNN-LM架构修改为预测上下文窗口中间词的标签（OK/BAD），而非预测下一个词。
• 使用固定大小的上下文窗口（例如3个词）以目标词为中心，句子边界处进行填充。
• 实现LSTM和GRU两种变体，以建模序列依赖关系并捕捉长距离上下文。
• 将词嵌入作为输入表示，通过在单语或双语数据上进行预训练以提升泛化能力。
• 引入子标签（如BAD_B、BAD_I、BAD_E）以更好地处理'OK'与'BAD'标签之间的不平衡。
• 使用交叉熵损失和随机梯度下降进行模型训练，配合早停法和L2正则化。

实验结果

研究问题

• RQ1 经过修改的RNN-LM架构是否能仅使用翻译后的句子作为输入，有效预测词级翻译质量（OK/BAD）？
• RQ2 预训练和子标签技术在类别不平衡的质量评估数据上是否显著提升性能？
• RQ3 与单语模型相比，引入双语（源语言和目标语言）上下文是否能提高质量评估的准确性？
• RQ4 在该任务中，不同RNN变体（LSTM与GRU）以及模型深度（深层与浅层）的表现如何比较？
• RQ5 词级质量评估模型能否有效扩展至短语级评估？

主要发现

• 基于GRU的模型优于基于LSTM的模型，在使用预训练和子标签时，BAD词的F1得分为49.61，BAD短语的F1得分为77.20。
• 预训练显著提升了模型性能，BAD词的F1得分从GRU的45.70提升至GRU_BL_PT_SL的49.61。
• 引入子标签有助于缓解类别不平衡问题，与基线相比，BAD标签的F1得分最高提升了3.5个百分点。
• 双语模型（同时使用源语言和目标语言上下文）始终优于单语模型，表明跨语言上下文能增强质量评估效果。
• 最终提交的系统（GRU + 预训练 + 子标签）在WMT16 Test2集上的F1得分达到BAD词41.92，BAD短语50.31，超过CRF基线的36.82和40.14，表现更优。
• 深层LSTM模型的表现劣于浅层模型，可能是因为深层架构缺乏足够的训练数据。