[论文解读] Word Embeddings via Causal Inference: Gender Bias Reducing and Semantic Information Preserving

Lei Ding, Dengdeng Yu+8 more|arXiv (Cornell University)|Dec 9, 2021

Natural Language Processing Techniques被引用 5

一句话总结

本文提出了一种因果推断框架，通过建模成对性别特定词向量（例如，father − mother）之间的差异，以在保留语义信息的同时减少词嵌入中的性别偏见。该方法在偏见减少、语义相似性任务以及下游自然语言处理应用中均优于最先进（SOTA）的去偏技术，实现了近乎最优的语义保留效果，并在下游任务中实现了最小的性能下降。

ABSTRACT

With widening deployments of natural language processing (NLP) in daily life, inherited social biases from NLP models have become more severe and problematic. Previous studies have shown that word embeddings trained on human-generated corpora have strong gender biases that can produce discriminative results in downstream tasks. Previous debiasing methods focus mainly on modeling bias and only implicitly consider semantic information while completely overlooking the complex underlying causal structure among bias and semantic components. To address these issues, we propose a novel methodology that leverages a causal inference framework to effectively remove gender bias. The proposed method allows us to construct and analyze the complex causal mechanisms facilitating gender information flow while retaining oracle semantic information within word embeddings. Our comprehensive experiments show that the proposed method achieves state-of-the-art results in gender-debiasing tasks. In addition, our methods yield better performance in word similarity evaluation and various extrinsic downstream NLP tasks.

研究动机与目标

• 解决现有去偏方法在去偏过程中混淆性别与语义信息的局限性。
• 开发一种因果框架，显式建模性别偏见的传播路径，同时保留词嵌入中的内在语义内容。
• 实现在不牺牲下游自然语言处理任务（如词性标注、短语切分和命名实体识别）性能的前提下有效去偏。
• 提供一种可推广的方法，适用于其他形式的偏见（如种族或阶级偏见），而不仅限于性别偏见。

提出的方法

• 该方法构建了一个因果模型，将性别偏见视为受性别特定词对影响的混淆因子。
• 使用成对性别词之间的向量差（例如，father − mother）作为性别偏见的代理变量，实现在保留语义结构的同时进行针对性去偏。
• 引入残差块以恢复去偏过程中丢失的信息，确保语义保真度。
• 该框架采用两阶段流程：首先，利用因果结构识别并隔离性别偏见；其次，将嵌入投影到去偏子空间。
• 该方法利用解析变量（如与性别偏见相关的形容词和名词）来提升当偏见变量不可观测时的去偏效果。
• 通过内在评估（语义相似性）和外在评估（下游自然语言处理任务）对方法进行验证。

实验结果

研究问题

• RQ1 因果推断框架能否在不损害语义信息的前提下有效隔离并去除词嵌入中的性别偏见？
• RQ2 与标准后处理去偏方法相比，建模性别词对之间差异在语义保留方面有何改进？
• RQ3 该方法在去偏后能在多大程度上保持下游自然语言处理任务的性能？
• RQ4 与最先进去偏技术相比，该方法在偏见减少和语义相似性方面表现如何？
• RQ5 该框架能否扩展至除性别以外的其他社会偏见类型？

主要发现

• 所提方法在性别去偏方面达到最先进性能，优于现有后处理方法（如 DeSIP 和 HSR）。
• 在语义相似性评估中，该方法在 'Wedding' 任务中保留了 11.22（±0.20）的语义信息，接近最优性能（11.22）。
• 在 SimLex 和 SimVerb 相似性基准上，该方法分别取得了 0.3765 和 0.2286 的 F1 分数，优于所有基线方法，包括 P-DeSIP 和 U-DeSIP。
• 在下游自然语言处理任务中，该方法表现出极小的性能下降——其 F1 分数最接近原始有偏的 GloVe 模型，在命名实体识别任务中甚至实现了精度的小幅提升。
• 该方法在词性标注、短语切分和命名实体识别任务中均保持一致的高性能，展现出在真实应用场景中的鲁棒性与实用性。
• 该方法成功减少了性别偏见，同时保留了词汇和语义信息，这一点通过在词语类比和相似性任务中表现优于先前工作得到证实。