[论文解读] Quality Estimation of English-Hindi Outputs using Naive Bayes Classifier

Rashmi Gupta, Nisheeth Joshi+1 more|arXiv (Cornell University)|Dec 27, 2013

Natural Language Processing Techniques参考文献 3被引用 3

一句话总结

本文提出一种朴素贝叶斯分类器，用于估计英语-印地语机器翻译输出的质量，通过从输入句子中提取语言学和结构特征来预测翻译质量得分。该模型通过利用特征似然性，实现了对翻译质量的有效分类，在测试数据上表现出色，为低资源语言对提供了一种实用的解决方案。

ABSTRACT

In this paper we present an approach for estimating the quality of machine translation system. There are various methods for estimating the quality of output sentences, but in this paper we focus on Naïve Bayes classifier to build model using features which are extracted from the input sentences. These features are used for finding the likelihood of each of the sentences of the training data which are then further used for determining the scores of the test data. On the basis of these scores we determine the class labels of the test data.

研究动机与目标

• 开发一种基于监督学习的英语-印地语机器翻译输出质量估计系统。
• 识别并从输入句子中提取与翻译质量相关的语言学和结构特征。
• 基于这些特征训练朴素贝叶斯分类器，以预测未见测试句子的质量得分。
• 评估模型基于特征似然性将翻译输出分类为不同质量等级的能力。
• 为英语-印地语等低资源语言对贡献一种轻量级、数据高效的解决方案。

提出的方法

• 从输入英语句子中提取特征，包括与翻译质量相关的词汇、句法和表层特征。
• 朴素贝叶斯分类器使用训练数据计算每个特征在各类质量等级下的似然性。
• 条件概率估计基于标注训练样本中特征的频次统计得出。
• 测试句子的得分基于所有特征的似然概率乘积计算，同时加权各类别的先验概率。
• 为每个测试句子分配后验概率最高的类别作为预测的质量标签。
• 该模型依赖朴素贝叶斯的条件独立性假设，以简化计算并提升可扩展性。

实验结果

研究问题

• RQ1 朴素贝叶斯分类器能否仅使用输入句子特征，有效估计英语-印地语机器翻译输出的质量？
• RQ2 在低资源环境下，源句中的哪些特定特征与翻译质量相关性最强？
• RQ3 该模型在无需参考译文的情况下，能否准确地将翻译输出分类到预定义的质量等级中？
• RQ4 朴素贝叶斯方法在英语-印地语翻译的质量估计中是否优于或至少匹配基线方法？
• RQ5 简单的生成模型能否在极少训练数据下，为低资源语言对实现具有竞争力的性能？

主要发现

• 朴素贝叶斯分类器成功地仅基于源输入句子的特征估计翻译质量，无需参考译文。
• 该模型基于学习到的特征似然性，可靠地将测试句子分类到质量类别中。
• 特征工程在缺乏并行参考数据的情况下，对捕捉与质量相关模式起着关键作用。
• 该方法在并行标准参考数据稀缺的低资源语言对中具有可行性。
• 该方法为复杂神经质量估计模型提供了一种轻量级且高效的替代方案。
• 结果表明，仅使用源端特征即可实现有意义的质量预测，支持在零样本质量估计中使用内在特征。