[论文解读] Word-Alignment-Based Segment-Level Machine Translation Evaluation using Word Embeddings

Junki Matsuo, Mamoru Komachi+1 more|arXiv (Cornell University)|Apr 2, 2017

Natural Language Processing Techniques参考文献 7被引用 3

一句话总结

本文提出一种基于词对齐的分段级机器翻译评估方法，利用词嵌入技术，结合三种对齐策略——平均、最大和匈牙利算法——计算句子相似度。该方法在先前基于词嵌入的方法之上取得改进，在欧洲语系-英语语料上，最大对齐相似度表现出最高的与人工判断的相关性；在日语-英语语料上，平均对齐相似度表现最佳。

ABSTRACT

One of the most important problems in machine translation (MT) evaluation is to evaluate the similarity between translation hypotheses with different surface forms from the reference, especially at the segment level. We propose to use word embeddings to perform word alignment for segment-level MT evaluation. We performed experiments with three types of alignment methods using word embeddings. We evaluated our proposed methods with various translation datasets. Experimental results show that our proposed methods outperform previous word embeddings-based methods.

研究动机与目标

• 解决因表面形式差异导致语义等价性被掩盖的分段级机器翻译评估挑战。
• 通过引入基于词嵌入的语义相似度，而非依赖n-gram匹配或外部资源，改进BLEU和METEOR方法。
• 开发一种轻量级、基于语料的评估指标，避免昂贵的人工标注和复杂模型。
• 探究不同词对齐启发式方法在多种语言对上的机器翻译评估性能影响。
• 优化对齐阈值和对齐策略，以最大化与人工判断的相关性。

提出的方法

• 使用预训练的word2vec词嵌入计算假设句与参考句中词语之间的余弦相似度。
• 应用三种词对齐启发式方法：一对一（匈牙利算法）、一对多（最大值）和多对多（平均值），以匹配句子间的词语。
• 引入相似度阈值（例如0.2）以过滤掉噪声或低相似度的词对齐。
• 根据方法类型，将句子级相似度计算为对齐词语相似度的平均值或最大值。
• 通过不同对齐类型引入长度惩罚，以补偿假设句与参考句之间的长度差异。
• 仅使用原始单语语料（Google News）训练和评估词嵌入，避免使用外部语言学资源。

实验结果

研究问题

• RQ1 基于词嵌入的词对齐句子相似度能否在分段级机器翻译评估中超越表面形式的n-gram匹配？
• RQ2 不同对齐策略（平均、最大、一对一）在多种语言对上对与人工判断相关性的影响如何？
• RQ3 对低相似度对齐进行阈值过滤是否能提升机器翻译评估的鲁棒性和相关性？
• RQ4 基于词嵌入的对齐方法在词形简单（如英语）和复杂（如日语）语言之间的性能表现有何差异？
• RQ5 一种轻量级的基于嵌入的指标能否在无需外部标注的情况下，实现比BLEU和DREEM等成熟指标更高的与人工判断的相关性？

主要发现

• 在WMT15欧洲语系-英语语料上，最大对齐相似度（MAS）达到最高肯德尔等级相关系数（τ = 0.373），优于DREEM和BLEU。
• 在NTCIR8日语-英语语料上，平均对齐相似度（AAS）达到最高相关性（τ = 0.343），表明其在词形复杂的语言对中更具鲁棒性。
• 在WMT语料上，0.2的阈值使MAS性能达到最优，表明对齐过滤对性能敏感。
• 匈牙利（一对一）对齐表现出持续较低的性能（如WMT12中τ = 0.106），表明过度约束会降低有效性。
• 在日语-英语语料上，AAS在高阈值（0.6–0.9）下表现出稳定且高的相关性，表明其在低资源或复杂语言对中具有可靠性。
• 该方法在所有欧洲语系-英语语言对上均优于DREEM，仅在捷克-英语对上未超越，证实其在语义相似度建模方面的有效性。