[论文解读] Word2Vec vs DBnary: Augmenting METEOR using Vector Representations or Lexical Resources?

Christophe Servan, Alexandre Bérard+3 more|arXiv (Cornell University)|Oct 5, 2016

Natural Language Processing Techniques参考文献 39被引用 7

一句话总结

本文通过整合词向量表示（Word2Vec）和词法资源（DBnary），提出增强机器翻译评估的METEOR指标，表明分布式词嵌入能提供互补的、在某些情况下更优的性能，优于传统的词法资源。在WMT 2014数据上的实验表明，结合两种方法可提高与人工判断的相关性，尤其在调整阈值后效果更明显。

ABSTRACT

This paper presents an approach combining lexico-semantic resources and distributed representations of words applied to the evaluation in machine translation (MT). This study is made through the enrichment of a well-known MT evaluation metric: METEOR. This metric enables an approximate match (synonymy or morphological similarity) between an automatic and a reference translation. Our experiments are made in the framework of the Metrics task of WMT 2014. We show that distributed representations are a good alternative to lexico-semantic resources for MT evaluation and they can even bring interesting additional information. The augmented versions of METEOR, using vector representations, are made available on our Github page.

研究动机与目标

• 探究分布式词表示（Word2Vec）是否能在机器翻译评估中优于传统词法资源（如DBnary）。
• 评估在缺乏语言特定词法资源的情况下，词嵌入的贡献，尤其针对低资源目标语言。
• 开发并评估一种增强版METEOR，整合向量表示与词法资源，以提升句子相似度检测性能。
• 提供增强版METEOR变体的开源实现，以支持可复现性与进一步研究。

提出的方法

• 在METEOR中新增一个‘向量’模块，利用预训练的Word2Vec嵌入来识别假设翻译与参考翻译中词语之间的语义相似性。
• 将DBnary（一个多语言词法资源）作为基线同义词模块，用于METEOR中的跨语言词语匹配。
• 在混合METEOR变体中结合向量模块与DBnary模块，以评估其互补性与性能提升。
• 调整余弦相似度阈值（0.75–0.80），以优化假设句与参考句中词向量的匹配效果。
• 在大规模单语与平行语料上训练单语与多语Word2Vec模型，以确保覆盖翻译输出的词汇。
• 使用与人工判断（HTER）的相关性作为主要指标，在WMT 2014评估任务上评估增强版METEOR。

实验结果

研究问题

• RQ1 分布式词表示（Word2Vec）能否作为DBnary等词法资源在机器翻译评估中的可行替代方案？
• RQ2 基于向量的相似度度量与基于词法资源的同义匹配在与人工判断的相关性方面有何差异？
• RQ3 词嵌入与词法资源在多大程度上能互补，以提升METEOR的性能？
• RQ4 在向量模块中调整相似度阈值是否能带来与人工评估分数相关性上的可测量提升？
• RQ5 向量模块能否有效匹配词法资源未覆盖的实词与功能词（如介词）？

主要发现

• 在WMT 2014测试集上，增强Word2Vec嵌入的METEOR变体（METEOR Vector）与人工判断（HTER）的相关性达到0.526，优于基线METEOR。
• 混合METEOR DBnary + Vector模型与HTER的相关性达到0.532，表明词嵌入提供了超越词法资源的额外互补信息。
• 将向量模块中的余弦相似度阈值从0.80降低至0.75后，性能得到提升，尤其在匹配低频词或功能词（如‘du’和‘de’）方面效果更明显。
• 向量模块成功匹配了语义相似但DBnary中未链接的词语，如‘pense’与‘estime’，以及‘employées’与‘utilisées’。
• 发现单语Word2Vec模型已足够用于机器翻译评估，表明该任务中无需使用多语或双语嵌入。
• 本研究证明，词嵌入可在低资源语言环境下有效替代词法资源，尤其在缺乏同义词数据库时。