[论文解读] Open Subtitles Paraphrase Corpus for Six Languages

Mathias Creutz|arXiv (Cornell University)|Sep 17, 2018

Subtitles and Audiovisual Media被引用 28

一句话总结

本论文介绍了 Opusparcus，这是一个从电影和电视字幕中提取的六种欧洲语言（德语、英语、芬兰语、法语、俄语和瑞典语）的多语言释义语料库。通过使用多枢纽语言技术结合自动排序与人工验证，该语料库生成了大规模、口语化的释义对，其训练集包含数百万对，每种语言的手动验证开发/测试集约1,000对，为自然语言处理和计算机辅助语言学习提供了宝贵资源。

ABSTRACT

This paper accompanies the release of Opusparcus, a new paraphrase corpus for six European languages: German, English, Finnish, French, Russian, and Swedish. The corpus consists of paraphrases, that is, pairs of sentences in the same language that mean approximately the same thing. The paraphrases are extracted from the OpenSubtitles2016 corpus, which contains subtitles from movies and TV shows. The informal and colloquial genre that occurs in subtitles makes such data a very interesting language resource, for instance, from the perspective of computer assisted language learning. For each target language, the Opusparcus data have been partitioned into three types of data sets: training, development and test sets. The training sets are large, consisting of millions of sentence pairs, and have been compiled automatically, with the help of probabilistic ranking functions. The development and test sets consist of sentence pairs that have been checked manually; each set contains approximately 1000 sentence pairs that have been verified to be acceptable paraphrases by two annotators.

研究动机与目标

• 从非正式、口语化的字幕中构建大规模多语言释义语料库，以支持自然语言处理与语言学习。
• 通过使用多种枢纽语言而非单一枢纽语言，改进释义检测，以更好地保留礼貌程度与数等语言差异。
• 为六种欧洲语言中的每一种提供平衡且经人工验证的训练、开发与测试集。
• 提供对称的、句子级别的释义资源，避免子句片段或句法约束。
• 通过芬兰语言银行公开发布该语料库，供研究使用。

提出的方法

• 利用多枢纽语言技术从 OpenSubtitles2016 平行语料库中提取释义：将句子翻译成多种枢纽语言后再译回目标语言。
• 使用概率排序函数自动评分并选择高质量的释义候选对用于训练集。
• 对开发集与测试集应用人工标注，两名标注员使用四分类量表（良好、大部分良好、大部分不良、不良）验证每对释义。
• 标注方案确保对称性：释义对被视为可互换，避免出现非对称的蕴含关系。
• 最终语料库按六种语言分别划分为训练集、开发集与测试集，其中训练集包含数百万对句子。
• 该方法避免依赖句法约束或子句片段，专注于完整句子的释义，以捕捉习语与风格差异。

实验结果

研究问题

• RQ1 多枢纽语言方法是否比单枢纽方法更有效地保留礼貌程度与数等语言差异？
• RQ2 使用概率函数进行自动排序，在从字幕数据中识别高质量释义对方面效果如何？
• RQ3 每种语言约1,000对的人工标注开发/测试集在多大程度上能确保释义质量的可靠性与一致性？
• RQ4 字幕中的非正式、口语化语言是否可作为计算机辅助语言学习与自然语言处理任务的可行且有价值的资源？
• RQ5 对释义对的对称处理如何影响该语料库在下游应用中的实用性与可解释性？

主要发现

• Opusparcus 语料库每种语言的训练集包含约100万对释义对，源自 OpenSubtitles2016 数据集，通过多枢纽翻译与自动排序生成。
• 每种语言的开发集与测试集均包含恰好1,000对经人工验证的释义对，其标注一致性由四分类标注方案支持。
• 使用多种枢纽语言显著提升了对语言差异（如法语 toi/vous 的对比）的保留效果，优于单枢纽方法。
• 该语料库成功捕捉了自然、非正式口语中的习语与风格差异，例如 'It’s what we do.' ↔ 'This is our job.'，这类表达可能被句法约束方法所遗漏。
• 对释义对的对称处理确保了每对中的两个句子均被视为等价，避免了蕴含关系或基于条件概率系统中存在的非对称性。
• 该语料库已公开发布，并由芬兰语言银行托管，确保其长期可访问性，适用于研究与教育应用。