[论文解读] Toxicity in Multilingual Machine Translation at Scale

Marta R. Costa‐jussà, Eric E. Smith+5 more|arXiv (Cornell University)|Oct 6, 2022

Software Engineering Research被引用 4

一句话总结

本文通过在164种语言中对来自HolisticBias数据集的47.2万条句子进行评估，研究了多语言机器翻译中的附加毒性问题。通过自动评估与人工评估相结合，发现低资源语言以及性别、性取向等人口统计学维度的毒性水平更高，其中84%的有毒翻译与低源贡献度相关，表明存在误译或幻觉现象。研究建议通过数据集筛选、减少幻觉现象以及检查不稳定的翻译输出来缓解毒性问题。

ABSTRACT

Machine Translation systems can produce different types of errors, some of which are characterized as critical or catastrophic due to the specific negative impact that they can have on users. In this paper we focus on one type of critical error: added toxicity. We evaluate and analyze added toxicity when translating a large evaluation dataset (HOLISTICBIAS, over 472k sentences, covering 13 demographic axes) from English into 164 languages. An automatic toxicity evaluation shows that added toxicity across languages varies from 0% to 5%. The output languages with the most added toxicity tend to be low-resource ones, and the demographic axes with the most added toxicity include sexual orientation, gender and sex, and ability. We also perform human evaluation on a subset of 8 translation directions, confirming the prevalence of true added toxicity. We use a measurement of the amount of source contribution to the translation, where a low source contribution implies hallucination, to interpret what causes toxicity. Making use of the input attributions allows us to explain toxicity, because the source contributions significantly correlate with toxicity for 84% of languages studied. Given our findings, our recommendations to reduce added toxicity are to curate training data to avoid mistranslations, mitigate hallucination and check unstable translations.

研究动机与目标

• 调查多语言机器翻译系统中附加毒性的普遍性及其成因。
• 分析毒性是否通过翻译输出中的误译或幻觉被引入。
• 利用大规模、多样化的数据集，评估自动毒性检测在多语言环境下的可靠性。
• 识别与附加毒性增加相关的语言特异性及人口统计学模式。
• 基于源贡献度与翻译鲁棒性度量，提出缓解策略。

提出的方法

• 本研究使用HolisticBias数据集，该数据集为基于模板的合成多语言评估集，包含13个人口统计学维度，句子数量超过47.2万条。
• 采用基于词表的分类器进行自动毒性检测，以识别源句中不存在但出现在翻译中的附加毒性。
• 使用alti+方法计算输入归因，衡量源句对每个翻译词元的贡献度。
• 通过计算对齐翻译结果的基尼不纯度，评估翻译输出的鲁棒性与多样性。
• 在8个翻译方向上开展人工评估，以验证自动检测结果，并测量误报率与漏报率。
• 分析源贡献度、基尼不纯度与毒性之间的统计相关性，以识别潜在因果模式。

实验结果

研究问题

• RQ1 在哪些语言方向中，多语言机器翻译表现出最高的附加毒性水平？
• RQ2 附加毒性在多大程度上与低源贡献度相关，表明存在误译或幻觉？
• RQ3 通过基尼不纯度衡量的翻译鲁棒性，与毒性出现之间存在何种相关性？
• RQ4 人工标注验证下，自动毒性检测在多语言环境中的可靠性如何？
• RQ5 哪些人口统计学维度在翻译输出中最容易出现附加毒性？

主要发现

• 在164种语言中，附加毒性的发生率在0%至5%之间波动，低资源语言中更为普遍。
• 附加毒性最高的三个维度是性取向、性别与性别特征，以及身体能力。
• 84%的有毒翻译表现出低源贡献度，表明其与误译或幻觉存在强烈关联。
• 低源贡献度与高基尼不纯度的组合，与基线相比，毒性率高出约两倍。
• 人工评估结果显示，在八个翻译方向中的五个，误报率低于1%，漏报率低于3%。
• 研究发现45.6%的有毒翻译具有高源贡献度，表明误译是附加毒性产生的主要来源之一。