[论文解读] Probing Pre-Trained Language Models for Cross-Cultural Differences in Values

Arnav Arora, Lucie-Aimée Kaffee+1 more|arXiv (Cornell University)|Mar 25, 2022

Educator Training and Historical Pedagogy被引用 6

一句话总结

本文提出一种探针框架，用于评估多语言预训练语言模型（PLMs）如何编码跨文化价值观，方法是将霍夫斯泰德的文化维度和世界价值观调查（WVS）问题转化为填空式探针。研究发现，尽管PLMs能够捕捉到可检测的文化价值观差异，但其与既定调查结果的相关性仅较弱，凸显了在缺乏仔细对齐和数据整理的情况下，将此类模型应用于跨文化场景时所存在的风险。

ABSTRACT

Language embeds information about social, cultural, and political values people hold. Prior work has explored social and potentially harmful biases encoded in Pre-Trained Language models (PTLMs). However, there has been no systematic study investigating how values embedded in these models vary across cultures. In this paper, we introduce probes to study which values across cultures are embedded in these models, and whether they align with existing theories and cross-cultural value surveys. We find that PTLMs capture differences in values across cultures, but those only weakly align with established value surveys. We discuss implications of using mis-aligned models in cross-cultural settings, as well as ways of aligning PTLMs with value surveys.

研究动机与目标

• 探究预训练语言模型（PLMs）是否能够以既定调查所捕捉的方式编码跨文化价值观差异。
• 开发一种系统化的探针方法，将价值观调查问题转化为适合模型评估的填空式提示。
• 评估PLM估算的价值观与实证跨文化调查（霍夫斯泰德和WVS）之间的对齐程度。
• 识别当前PLM训练数据中可能导致文化价值观误代表的局限性。
• 讨论在多语言和多文化环境中部署与文化价值观不匹配的PLMs所涉及的伦理影响。

提出的方法

• 将霍夫斯泰德文化维度和世界价值观调查中的问题转化为适合掩码语言建模的填空式探针。
• 将探针翻译成13种目标语言，每种语言对应一个特定国家或地区，以评估语言特定的价值观表征。
• 在翻译后的探针上使用三种多语言PLM（mBERT、XLM和XLM-R）预测每个掩码标记的最可能补全。
• 汇总模型在各探针上的预测结果，以估算每种语言的文化价值观得分，并与基于调查的参考得分进行比较。
• 计算模型估算值与基于调查的值之间的皮尔逊相关系数和斯皮尔曼等级相关系数等统计量，以量化对齐程度。
• 分析不同语言和模型上的模型行为，以识别文化偏见或不匹配的模式。

实验结果

研究问题

• RQ1 多语言预训练语言模型在多大程度上反映了霍夫斯泰德文化维度所定义的跨文化价值观差异？
• RQ2 PLM估算的价值观与世界价值观调查的实证调查数据相关性如何？
• RQ3 训练数据或模型架构中的哪些因素导致PLM输出与既定文化调查之间的对齐程度较弱？
• RQ4 模型预测在不同语言间如何变化，这反映出PLM中文化表征的哪些问题？
• RQ5 在多语言应用中部署与文化价值观不匹配的PLMs存在哪些伦理风险？

主要发现

• PLMs确实捕捉到了跨文化价值观的可检测差异，表明它们从训练数据中学习到了某种形式的跨文化价值观表征。
• PLM估算值与基于调查的值之间的相关性较弱，皮尔逊相关系数在大多数维度和语言中通常低于0.4。
• 某些维度（如权力距离和个体主义）的对齐程度较高，表明模型对某些价值观的编码更具选择性。
• 模型在不同语言上的表现存在显著差异，对于训练数据更丰富多样的语言（如英语和德语），相关性更高。
• 本研究发现，训练数据中的偏见——如西方化内容和英语主导内容的过度代表，以及少数族裔或侨民群体声音的代表性不足——是导致不匹配的原因之一。
• 研究结果表明，当前的PLMs可能无意中嵌入了不反映全球人口多样性的规范性文化价值观，从而在跨文化应用中带来潜在危害。