[论文解读] Neutralizing Gender Bias in Word Embedding with Latent Disentanglement and Counterfactual Generation

Seungjae Shin, Kyungwoo Song+4 more|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 25被引用 7

一句话总结

该论文提出了一种新颖的词嵌入性别去偏方法，通过孪生自编码器与梯度反转实现潜在因子的解耦，分离性别与语义因素。随后通过翻转性别潜在代码生成反事实嵌入，并应用几何对齐正则化，生成性别中性化的嵌入，显著降低了性别偏见，同时在自然语言处理任务中保持了语义完整性。

ABSTRACT

Recent research demonstrates that word embeddings, trained on the human-generated corpus, have strong gender biases in embedding spaces, and these biases can result in the discriminative results from the various downstream tasks. Whereas the previous methods project word embeddings into a linear subspace for debiasing, we introduce a extit{Latent Disentanglement} method with a siamese auto-encoder structure with an adapted gradient reversal layer. Our structure enables the separation of the semantic latent information and gender latent information of given word into the disjoint latent dimensions. Afterwards, we introduce a extit{Counterfactual Generation} to convert the gender information of words, so the original and the modified embeddings can produce a gender-neutralized word embedding after geometric alignment regularization, without loss of semantic information. From the various quantitative and qualitative debiasing experiments, our method shows to be better than existing debiasing methods in debiasing word embeddings. In addition, Our method shows the ability to preserve semantic information during debiasing by minimizing the semantic information losses for extrinsic NLP downstream tasks.

研究动机与目标

• 解决由在人类生成语料上训练导致的预训练词嵌入中的性别偏见问题。
• 在词嵌入空间中将与性别相关的信息与语义内容解耦。
• 在去偏过程中保持语义信息，以最小化下游自然语言处理任务中的性能下降。
• 开发一种几何对齐机制，确保去偏后的嵌入仅在性别上不同，而语义保持一致。
• 提出一种超越线性去偏的方法，通过非线性反事实生成实现泛化。

提出的方法

• 利用带有梯度反转层的孪生自编码器架构，对词嵌入中的性别与语义潜在因子进行解耦。
• 采用梯度反转层，防止语义信息被用于推断性别，从而强制实现因子解耦。
• 通过保持语义潜在因子不变，同时反转性别潜在因子，生成反事实词嵌入。
• 使用核函数应用几何对齐正则化，对齐原始嵌入与反事实嵌入，确保语义偏移最小化。
• 通过原始嵌入与反事实嵌入之间的插值构建性别中性嵌入，最小化性别相关影响。
• 采用主成分分析与基尼指数评估词对间性别方向向量的线性对齐程度。

实验结果

研究问题

• RQ1 带有梯度反转的深度自编码器能否有效解耦词嵌入中的性别与语义因子？
• RQ2 与线性投影方法相比，词嵌入的反事实生成是否能带来更鲁棒的性别中性化效果？
• RQ3 与现有去偏基线相比，该方法在下游自然语言处理任务中对语义信息的保持程度如何？
• RQ4 几何对齐正则化在去偏过程中对词对相对语义结构的保持效果如何？
• RQ5 该方法能否减少间接性别偏见，如通过词邻域中的聚类与性别比率的相关性来衡量？

主要发现

• 所提出的 CF-Debias-KA 方法在性别偏见词集上的聚类分类准确率最低（16.0%），表明其具有更优的性别不变性。
• CF-Debias-KA 在词邻域性别比率与性别方向向量点积之间表现出最低的皮尔逊相关系数（0.15），表明间接偏见减少。
• 该方法在所有下游任务中均表现出最低的性能下降：词性标注（-0.2%）、词性块提取（-0.3%）和命名实体识别（-0.5%），优于所有基线方法。
• 在 CF-Debias-KA 下，性别词对差异向量的方差在前几个主成分中最为集中，基尼指数达 0.78，表明性别方向具有强线性对齐性。
• LLE 可视化结果证实，性别方向保持一致，且去偏空间中如 'housekeeper' 和 'statistician' 等有偏词成功实现中性化。
• 与现有方法相比，该方法更好地保持了语义完整性，体现在外部自然语言处理评估中性能下降最小。