[论文解读] Towards Using Machine Translation Techniques to Induce Multilingual Lexica of Discourse Markers

António M. Lopes, David Martins de Matos+5 more|arXiv (Cornell University)|Mar 31, 2015

Natural Language Processing Techniques被引用 6

一句话总结

本文提出一种基于机器翻译的方法，利用Europarl平行语料库自动构建多语种话语标记词典。通过利用短语模型机器翻译系统、对齐技术和剪枝方法，提取并过滤英语话语标记的跨语言对应词，关键成果是为意大利语识别出1,293个候选翻译，并证明了为自然语言处理与翻译应用构建经验证的、跨语言话语标记词库的可行性。

ABSTRACT

Discourse markers are universal linguistic events subject to language variation. Although an extensive literature has already reported language specific traits of these events, little has been said on their cross-language behavior and on building an inventory of multilingual lexica of discourse markers. This work describes new methods and approaches for the description, classification, and annotation of discourse markers in the specific domain of the Europarl corpus. The study of discourse markers in the context of translation is crucial due to the idiomatic nature of these structures. Multilingual lexica together with the functional analysis of such structures are useful tools for the hard task of translating discourse markers into possible equivalents from one language to another. Using Daniel Marcu's validated discourse markers for English, extracted from the Brown Corpus, our purpose is to build multilingual lexica of discourse markers for other languages, based on machine translation techniques. The major assumption in this study is that the usage of a discourse marker is independent of the language, i.e., the rhetorical function of a discourse marker in a sentence in one language is equivalent to the rhetorical function of the same discourse marker in another language.

研究动机与目标

• 开发一种利用机器翻译技术自动构建多语种话语标记词典的方法。
• 解决欧洲语言间话语标记缺乏系统性跨语言资源的问题。
• 通过与已知话语标记功能及专业翻译实践对比，验证该方法的有效性。
• 根据使用场景（会话式 vs. 文本式）对话语标记进行分类，涵盖不同语言语体。
• 为多语境下话语标记的修辞分析奠定基础。

提出的方法

• 该方法使用Europarl平行语料库（21种欧洲语言）作为双语训练资源，用于话语标记提取。
• 采用短语模型机器翻译，使用Moses解码器和GIZA++实现语言对之间的词与短语对齐。
• 预处理流程包括移除SGML标签、句子分句以及全小写转换，以标准化输入。
• 从对齐的平行句子中构建短语表，并利用SALM及[10]中的算法进行剪枝，以减少噪声并保留高置信度翻译。
• 通过在英语目标标记前后查找标点符号，利用短语表条目提取候选话语标记。
• 过滤流程应用语言学启发式规则与概率评分（如φ(f|e)、lex(f|e)），以剔除不合理的翻译，保留高质量候选。

实验结果

研究问题

• RQ1 短语模型机器翻译系统能否从平行语料库中可靠地提取话语标记的多语种对应词？
• RQ2 正式议会文本中话语标记的分布与使用模式，与口语中的有何差异？
• RQ3 自动构建的词典在多大程度上能反映话语标记在不同语言中的已知修辞功能？
• RQ4 语料语体（如正式 vs. 口语）对生成的话语标记翻译覆盖率与质量有何影响？
• RQ5 所提出的方法能否生成与专业翻译和口译实践相一致的词典？

主要发现

• 在剪枝后，该方法从短语表中成功提取出葡萄牙语846个、法语861个、德语906个、意大利语1,293个候选翻译。
• 在约70个来自口语语料库（讲座与对话）的话语标记中，仅有18个在Europarl词典中找到对应的英语翻译，表明在非正式语体中覆盖有限。
• Europarl语料库中有7个话语标记被分类为兼具会话与文本功能，其余均为纯会话性，表明其分布受语体影响。
• 结果表明，正式议会文本中会话标记数量少于口语，解释了其与口语语料重叠度低的原因。
• 过滤过程显著减少了噪声，剪枝后分别从葡萄牙语、法语、德语和意大利语短语表中移除了27、40、43和46个条目。
• 该方法证明了生成反映已知修辞功能的多语种话语标记词典的可行性，支持跨语言分析与翻译。