[论文解读] Towards Countering Essentialism through Social Bias Reasoning

Emily Allaway, Nina Taneja+2 more|Edinburgh Research Explorer|Mar 28, 2023

Social and Intergroup Psychology被引用 7

一句话总结

本文提出了一种基于心理学和语言学的自动方法，用于生成挑战本质主义信念（如“自由派都是愚蠢的”）的反论陈述，通过应用五种不同策略，包括将刻板印象扩展至其他群体或泛化为‘很多人’。主要发现是，扩展策略（例如‘保守派也可能愚蠢’）最受参与者青睐，尤其是在本质主义信念以隐含方式表达时，凸显了跨学科自然语言处理与心理学研究在应对偏见方面的重要性。

ABSTRACT

Essentialist beliefs (i.e., believing that members of the same group are fundamentally alike) play a central role in social stereotypes and can lead to harm when left unchallenged. In our work, we conduct exploratory studies into the task of countering essentialist beliefs (e.g., ``liberals are stupid''). Drawing on prior work from psychology and NLP, we construct five types of counterstatements and conduct human studies on the effectiveness of these different strategies. Our studies also investigate the role in choosing a counterstatement of the level of explicitness with which an essentialist belief is conveyed. We find that statements that broaden the scope of a stereotype (e.g., to other groups, as in ``conservatives can also be stupid'') are the most popular countering strategy. We conclude with a discussion of challenges and open questions for future work in this area (e.g., improving factuality, studying community-specific variation) and we emphasize the importance of work at the intersection of NLP and psychology.

研究动机与目标

• 探究如何自动生成针对语言中本质主义信念的有效反论陈述。
• 探索能够最有效地挑战对社会群体有害泛化的心理学与语言学策略。
• 研究本质主义信念的显性程度（隐含 vs. 显性）如何影响不同反论陈述类型的感知有效性。
• 基于人工评估，识别在自然语言中对抗本质主义的最偏好且最有效的策略。
• 强调在自然语言处理与心理学交叉领域开展跨学科工作，以应对人工智能中的社会偏见。

提出的方法

• 作者定义了五类反论陈述：泛化至‘很多人’（Lots）、扩展至其他群体（Alt）、通过个体提供直接反证（Dir-Ind）、通过群体提供反证（Dir-Grp），以及指出泛化问题（Tol）。
• 反论陈述通过结合目标群体、所归因的特质以及刻板印象的语言形式，运用心理学与自然语言处理的洞见进行推理生成。
• 本研究使用社会偏见框架推理语料库（SBIC）将人工撰写的语句与其本质主义含义配对，随后为每条语句生成反论陈述。
• 在亚马逊Mechanical Turk上开展了三组在线人工研究：隐性信念、无上下文的显性信念，以及有上下文的显性信念。
• 标注员对反论陈述的有效性进行评分，基于信念类型与呈现模式分析偏好。
• 该方法强调心理上的合理性与语言上的精确性，而非无控制的文本生成，旨在提升反论陈述生成的事实性并减少偏见。

Figure 1: Two prejudiced statements with their essentialist implications (top), along with our five types of counterstatements automatically generated with our method. According to our results, a preferred strategy is highlighting that an implication applies to more than the targeted group ( Lots or

实验结果

研究问题

• RQ1 哪些类型的反论陈述在对抗本质主义信念方面最有效，原因是什么？
• RQ2 本质主义信念的显性程度（隐含 vs. 显性）如何影响不同反论陈述策略的感知有效性？
• RQ3 标注员的身份与群体归属如何影响其对反论陈述的偏好？
• RQ4 在生成与刻板印象相关的事实准确且相关的直接反例方面面临哪些挑战？
• RQ5 如何设计NLP系统，以有效且合乎伦理的方式对抗本质主义信念，同时避免强化偏见？

主要发现

• 扩展策略——即将刻板印象应用于其他群体（如‘保守派也可能愚蠢’）——是最受青睐的反论陈述类型，尤其在信念以隐含方式表达时。
• 通过具体个体（Dir-Ind）或群体（Dir-Grp）提供直接反证的陈述最受欢迎度最低，尽管当本质主义信念明确表达时，其有效性更高。
• 标注员的偏好在本质主义信念以隐含或显性方式呈现时存在显著差异，表明语境与框架强烈影响反论陈述的感知有效性。
• Dir-Ind类别中存在较高的错误或刻板化反例比例，表明在生成事实准确且非刻板化的个体作为反例方面存在挑战。
• 研究发现，标注员群体在人口统计学上同质性较高（如多为白人或男性）可能限制研究结果的普适性，尤其是在针对边缘化群体时。
• 作者强调，未来工作必须提升反论陈述生成的事实性，并考虑偏见与身份在不同社群中的特定差异。

(a) First choice.