[论文解读] What are the biases in my word embedding?

Nathaniel Swinger, Maria De‐Arteaga+3 more|arXiv (Cornell University)|Dec 20, 2018

Hate Speech and Cyberbullying Detection参考文献 22被引用 17

一句话总结

本文提出一种无监督算法，通过识别姓名与常见词汇之间的几何模式（如平行性和聚类特性），自动检测并枚举词嵌入中的偏见。该方法揭示了即使在声称已去偏的词嵌入中，种族、性别、宗教和年龄等方面仍普遍存在有害关联，证明仅移除姓名并不能消除代理偏见。

ABSTRACT

This paper presents an algorithm for enumerating biases in word embeddings. The algorithm exposes a large number of offensive associations related to sensitive features such as race and gender on publicly available embeddings, including a supposedly "debiased" embedding. These biases are concerning in light of the widespread use of word embeddings. The associations are identified by geometric patterns in word embeddings that run parallel between people's names and common lower-case tokens. The algorithm is highly unsupervised: it does not even require the sensitive features to be pre-specified. This is desirable because: (a) many forms of discrimination--such as racial discrimination--are linked to social constructs that may vary depending on the context, rather than to categories with fixed definitions; and (b) it makes it easier to identify biases against intersectional groups, which depend on combinations of sensitive features. The inputs to our algorithm are a list of target tokens, e.g. names, and a word embedding. It outputs a number of Word Embedding Association Tests (WEATs) that capture various biases present in the data. We illustrate the utility of our approach on publicly available word embeddings and lists of names, and evaluate its output using crowdsourcing. We also show how removing names may not remove potential proxy bias.

研究动机与目标

• 开发一种无需预先标注敏感属性的无监督方法，用于检测词嵌入中的偏见。
• 揭示即使在声称已去偏的嵌入中仍持续存在的有害刻板印象关联，尤其针对边缘化群体。
• 证明从训练数据中移除姓名并不能消除代理偏见，因为语义关联仍可能编码歧视。
• 为研究人员和工程师提供一种可扩展的自动化工具，用于在部署前审计嵌入的公平性。

提出的方法

• 利用平行特性：姓名对（如Mary–John）的向量差近似平行于属性词对（如Queen–King）的向量差，表明存在偏见。
• 引入聚类特性：姓名和词汇的归一化向量按性别、宗教及其他社会建构形成语义上有意义的聚类。
• 利用这些几何模式生成无需预先指定敏感特征的统计显著的词嵌入关联测试（WEATs）。
• 应用错误发现率控制以确保检测到的关联具有统计可靠性。
• 通过众包验证检测到的偏见是否与人类识别的刻板印象一致。
• 通过显著关联的四元组比较分析潜在的间接偏见，以检测代理关系。

实验结果

研究问题

• RQ1 我们能否在不预先指定敏感属性的情况下，自动检测词嵌入中的广泛偏见？
• RQ2 在广泛使用的词嵌入（包括已去偏的嵌入）中，仍有多大概率编码有害或刻板印象关联？
• RQ3 所提出的方法在识别与人类认知的社会刻板印象一致的偏见方面有多有效？
• RQ4 在从训练数据中移除姓名后，代理偏见是否仍持续存在？能否通过嵌入中的几何模式检测到？
• RQ5 该算法能否揭示未事先明确定义的交叉性或代表性不足群体的偏见？

主要发现

• 该算法在公开可用的词嵌入中检测到大量涉及种族、性别、宗教和年龄的有害关联，包括一个声称已去偏的嵌入。
• Word2Vec嵌入中99%的显著四元组、fastText中98%和GloVe中97%显示出潜在的间接偏见，表明在移除姓名后代理关联仍持续存在。
• 众包验证确认，当与特定姓名聚类关联时，最具有冒犯性的关联（如'n*****'、'jihad'、's******'、'hottie'）的平均评分均≥6.0，被一致评为高度冒犯。
• 该算法成功识别出对应性别、宗教和种族的聚类，包括在使用姓氏而非名字时形成的明显亚裔美国人姓氏聚类。
• 即使在Bolukbasi等人（2016）提出的去偏嵌入中，该算法仍发现了强烈且统计显著的偏见，表明去偏方法可能无法完全消除偏见。
• 该方法在12分类任务中准确率超过50%，表明其识别出的姓名-群体关联对人类评分者具有可解释性和语义意义。