[论文解读] The Impact of Indirect Machine Translation on Sentiment Classification

Alberto Poncelas, Pintu Lohar+2 more|arXiv (Cornell University)|Aug 25, 2020

Topic Modeling参考文献 37被引用 10

一句话总结

本文研究了直接翻译与间接机器翻译（MT）对情感分类的影响，提出利用MT将情感分析扩展至低资源语言。尽管翻译错误会降低分类器性能，但研究发现，即使经过MT翻译的句子——尤其是词汇多样性较低的句子——仍能取得可接受的结果；当MT质量足够高时，间接翻译的性能与直接翻译相当。

ABSTRACT

Sentiment classification has been crucial for many natural language processing (NLP) applications, such as the analysis of movie reviews, tweets, or customer feedback. A sufficiently large amount of data is required to build a robust sentiment classification system. However, such resources are not always available for all domains or for all languages. In this work, we propose employing a machine translation (MT) system to translate customer feedback into another language to investigate in which cases translated sentences can have a positive or negative impact on an automatic sentiment classifier. Furthermore, as performing a direct translation is not always possible, we explore the performance of automatic classifiers on sentences that have been translated using a pivot MT system. We conduct several experiments using the above approaches to analyse the performance of our proposed sentiment classification system and discuss the advantages and drawbacks of classifying translated sentences.

研究动机与目标

• 通过利用机器翻译扩展训练与推理能力，解决低资源语言中情感标注数据有限的挑战。
• 研究基于原始数据训练的情感分类器是否能有效对通过直接或间接MT管道翻译的句子进行分类。
• 评估翻译质量、词汇多样性与MT生成反馈中情感保留之间的权衡。
• 探索使用MT作为无需开发语言特定模型的跨语言情感分析可扩展解决方案的可行性。
• 考察分类器在经间接翻译句子（即通过中间语言翻译）上的表现，以理解错误传播的影响。

提出的方法

• 使用序列到序列神经机器翻译模型，将低资源语言的客户反馈翻译成英语。
• 应用直接与间接翻译管道：直接翻译（源语言 → 目标语言）与间接翻译（源语言 → 中间语言 → 目标语言），以英语作为中间语言。
• 在原始英语反馈上训练情感分类器，并在原始、直接翻译及间接翻译的句子上评估其性能。
• 使用BLEU和ROUGE等自动指标评估翻译质量，同时将情感保留作为主要评估标准。
• 利用频率统计（如Paracrawl数据集）分析MT输出的词汇多样性，以评估其对分类的影响。
• 使用F1值与准确率比较三种输入类型（原始、直接翻译、间接翻译）下的分类器性能。

实验结果

研究问题

• RQ1 当使用原始、直接翻译及间接翻译的客户反馈时，情感分类性能如何变化？
• RQ2 翻译质量与情感分类器性能之间的相关性有多大？
• RQ3 MT生成句子中的词汇多样性对情感分类准确率有何影响？
• RQ4 与直接翻译相比，通过中间语言的间接翻译是否会更严重降低分类器性能？在何种条件下仍具可行性？
• RQ5 即使存在流畅性或充分性问题，MT生成的词汇多样性较低的句子是否仍能提升分类性能？

主要发现

• 情感分类器在翻译后的句子上表现劣于原始句子，翻译错误导致F1值明显下降。
• 翻译质量与分类器性能的相关性在达到一定阈值后不再显著——一旦翻译结果流利且语义连贯，性能即趋于稳定。
• MT生成的句子表现出更低的词汇多样性（例如频繁使用'sympa'而非'agréable'），这简化了分类任务，可能在一定程度上抵消性能损失。
• 当MT系统质量足够高时，间接翻译的性能与直接翻译相当，表明基于中间语言的翻译在情感分析中具有可行性。
• 即使流畅性或充分性较低，MT翻译的反馈仍能以可接受的准确率被分类，尤其在情感得以保留的情况下。
• 当MT系统生成更简单、更可预测的句子结构时，原始数据与翻译数据之间的性能差距得以缓解。