[论文解读] The Parallel Meaning Bank: Towards a Multilingual Corpus of Translations Annotated with Compositional Meaning Representations

Lasha Abzianidze, Johannes Bjerva+6 more|University of Groningen research database (University of Groningen / Centre for Information Technology)|Feb 13, 2017

Natural Language Processing Techniques参考文献 18被引用 14

一句话总结

Parallel Meaning Bank（PMB）引入了一个多语言语料库，包含超过1100万词的英语、德语、荷兰语和意大利语，通过跨语言映射对这些语料进行共享、组合式的语义表示标注。通过利用自动生成的、半监督的英语语义标注，并借助句法和语义对齐将这些标注投影到对齐的翻译文本上，PMB实现了跨语言的组合式语义分析，支持以最少的人工投入开发多语言语义解析器。

ABSTRACT

The Parallel Meaning Bank is a corpus of translations annotated with shared, formal meaning representations comprising over 11 million words divided over four languages (English, German, Italian, and Dutch). Our approach is based on cross-lingual projection: automatically produced (and manually corrected) semantic annotations for English sentences are mapped onto their word-aligned translations, assuming that the translations are meaning-preserving. The semantic annotation consists of five main steps: (i) segmentation of the text in sentences and lexical items; (ii) syntactic parsing with Combinatory Categorial Grammar; (iii) universal semantic tagging; (iv) symbolization; and (v) compositional semantic analysis based on Discourse Representation Theory. These steps are performed using statistical models trained in a semi-supervised manner. The employed annotation models are all language-neutral. Our first results are promising.

研究动机与目标

• 开发一个多语言语料库，实现多种语言间共享的正式语义表示，以支持跨语言的组合式语义分析。
• 通过将高质量的英语语义标注投影到翻译文本上，降低人工语义标注的成本和工作量。
• 支持对翻译中语义变化的系统性研究，并推动多语言语义解析器的开发。
• 创建一个可扩展、语言中立的语义标注框架，能够以最少的微调适应新语言。

提出的方法

• PMB采用五步标注流程：句子和词汇分词、组合范畴语法（CCG）解析、通用语义标记、符号化，以及基于话语表示理论（DRT）的组合式语义分析。
• 语义标注首先在英语上生成，使用基于现有工具和人工校对数据训练的半监督统计模型。
• 通过启发式句子对齐和GIZA++进行词对齐，实现跨语言的映射。
• 在假设翻译保留语义的前提下，将相同的基于DRT的语义表示投影到其他语言，从而实现在不同语言间共享正式语义。
• 通过人工校正（称为“Bits of Wisdom”）解决冲突并提升模型性能，区分金、银、铜三种标注标准。
• 使用人工校对数据对模型进行迭代式再训练，以提高准确率并适应不断演进的标注指南。

实验结果

研究问题

• RQ1 能否通过对齐和语义解析，可靠地将英语的组合式语义表示投影到其他语言的翻译句子上？
• RQ2 与从零开始构建资源相比，跨语言映射在多语言语义标注中在多大程度上减少了人工标注的需求？
• RQ3 使用语言中立的语义标记和符号形式系统（如CCG和DRT）在实现跨语言语义一致性方面有多有效？
• RQ4 人工标注的“Bits of Wisdom”对多个语言中模型收敛性和标注质量的影响如何？
• RQ5 该语义标注流程是否能有效应用于德语以外的类型学上差异较大的语言，如意大利语？

主要发现

• PMB语料库包含超过1130万个词符，分布在285,154篇文档中，涵盖四种语言，其中5%的文档在四种语言中均存在。
• 该方法在荷兰语中取得了令人鼓舞的结果，证明了跨语言映射在组合式语义分析中的可行性。
• 已建立金标准标注的文档包括6,810篇英语、4,757篇德语、2,843篇意大利语和945篇荷兰语文本，确保了高质量的参考数据。
• “Bits of Wisdom”的使用显著提升了模型性能，通过聚焦于冲突或模糊案例的人工标注实现。
• 该流程通过复用英语语义标注，显著降低了其他语言的人工标注成本。
• 该语料库可通过网页界面公开获取，支持稳定版本的下载，有利于可复现性研究和进一步研究。