[论文解读] Winograd Schemas and Machine Translation

Ernest Davis|arXiv (Cornell University)|Aug 5, 2016

AI in Service Interactions参考文献 3被引用 4

一句话总结

本文提出使用Winograd语境——仅通过一个词语之差、需借助常识推理才能解决代词指代问题的句子对——作为机器翻译系统的一项严格挑战。通过利用法语、西班牙语或德语等目标语言中的性别代词差异，该方法检验翻译系统是否能通过深层世界知识解决代词歧义，表明准确翻译此类语境要求系统解决底层的Winograd语境问题，而当前系统往往无法做到这一点。

ABSTRACT

A Winograd schema is a pair of sentences that differ in a single word and that contain an ambiguous pronoun whose referent is different in the two sentences and requires the use of commonsense knowledge or world knowledge to disambiguate. This paper discusses how Winograd schemas and other sentence pairs could be used as challenges for machine translation using distinctions between pronouns, such as gender, that appear in the target language but not in the source.

研究动机与目标

• 评估机器翻译系统在源语言使用性别中立代词时，能否正确处理目标语言中的性别代词。
• 识别一类根植于代词歧义的翻译挑战，此类挑战需要常识推理而非表面模式匹配。
• 证明解决Winograd语境是实现性别标记语言中准确翻译的必要条件。
• 通过构建需要深层语义和世界知识才能正确翻译的Winograd风格句子对，暴露现有翻译系统的局限性。

提出的方法

• 在英语中构建Winograd语境，其中模糊代词'they'指代一群男性或一群女性，需在罗曼语或闪米特语中进行性别化翻译。
• 利用目标语言中的代词性别（例如法语的' ils '与' elles '）作为诊断指标，判断系统是否正确解析了代词。
• 通过确保两句话中正确先行词的性别不同，将现有Winograd语境转化为翻译挑战。
• 创建测试用例，其中先行词的性别未明确说明，而必须通过上下文和常识知识推断。
• 使用Winograd语境挑战框架，评估翻译系统是否能通过推理正确解析代词从而通过测试。
• 测试翻译系统在句子对中的表现，其中省略代词或使用默认阳性形式将导致语法错误或语义不正确的输出。

实验结果

研究问题

• RQ1 当源语言使用中性代词（如'they'）时，机器翻译系统能否在目标语言中正确解析性别代词？
• RQ2 解决Winograd语境的能力在多大程度上与在法语、西班牙语或德语等语言中准确翻译性别代词相关？
• RQ3 能否系统性地将Winograd语境重新用作诊断测试，以评估机器翻译系统理解深度？
• RQ4 当前翻译系统在处理需要推理性别与指代身份的Winograd风格句子对时表现如何？
• RQ5 当面对需要常识推理的代词性别歧义时，翻译系统的失败模式是什么？

主要发现

• 在144个Winograd语境中，有33个可直接转化为涉及罗曼语中性别代词的挑战性翻译任务，其正确翻译取决于解决语境问题。
• 当前翻译系统（如Google Translate）在关键案例中失败，例如将'Marie is my friend'错误地译为法语的'Marie est mon ami'，错误使用了阳性形式。
• 当性别线索与代词不相邻时，系统常出现失败，表明其在长距离依赖关系上的推理能力不足。
• 即使系统能正确翻译简单短语如'my friend Pierre'或'she is my friend'，在涉及间接指代或叙事推理的复杂句子中仍会失败。
• 在目标语言中对混合性别或未知性别群体使用阳性代词，构成系统性挑战，需准确的代词解析才能通过。
• 本文表明，在翻译中省略代词是一种常见但通常不充分的应对策略，因为它无法为复杂Winograd语境对产生合理翻译。