[论文解读] Towards Controllable Biases in Language Generation

Emily Sheng, Kai-Wei Chang+2 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 30被引用 11

一句话总结

本文提出一种模型无关的框架，通过基于梯度的对抗性触发器，在自然语言生成（NLG）中诱导和缓解社会偏见。通过在包含人口统计学提及的提示前添加触发器，该方法可控制对特定群体的偏见极性（负面、中性、正面），从而实现偏见分析与缓解——在跨人口统计群体实现偏见的有效均衡化，并减少 GPT-2 输出中的负面偏见。

ABSTRACT

We present a general approach towards controllable societal biases in natural language generation (NLG). Building upon the idea of adversarial triggers, we develop a method to induce societal biases in generated text when input prompts contain mentions of specific demographic groups. We then analyze two scenarios: 1) inducing negative biases for one demographic and positive biases for another demographic, and 2) equalizing biases between demographics. The former scenario enables us to detect the types of biases present in the model. Specifically, we show the effectiveness of our approach at facilitating bias analysis by finding topics that correspond to demographic inequalities in generated text and comparing the relative effectiveness of inducing biases for different demographics. The second scenario is useful for mitigating biases in downstream applications such as dialogue generation. In our experiments, the mitigation technique proves to be effective at equalizing the amount of biases across demographics while simultaneously generating less negatively biased text overall.

研究动机与目标

• 开发一种通用的、与模型无关的方法，以控制自然语言生成（NLG）模型中的社会偏见。
• 通过分析与人口统计不平等相关的主题，研究偏见在NLG输出中的表现形式。
• 评估在不同人口统计群体中诱导偏见的相对有效性，揭示模型的局限性。
• 设计并评估一种缓解策略，以减少负面偏见，并在不同人口统计群体之间均衡偏见极性。
• 证明该方法在NLG模型上的可扩展性，以及在下游对话系统中对未见姓名的有效性。

提出的方法

• 该方法使用基于梯度的对抗性触发器搜索，识别出当附加到输入提示前时，能影响生成文本偏见极性的简短触发短语。
• 该框架将偏见极性定义为对特定人口群体社会认知的负面影响、中性影响或正面影响，偏见控制目标被制定为诱导或缓解特定极性。
• 通过目标样本的梯度优化触发器，以最大化在指定人口统计提及下模型输出中期望的偏见转变。
• 该方法应用于 GPT-2 和一个对话模型（DialoGPT），并通过自动评分与人工标注的偏见分数进行评估。
• 通过训练触发器以减少负面偏见并均衡不同人口统计群体之间的偏见比率实现缓解，测试对象包括已见和未见姓名。
• 通过在不同触发条件下的生成文本内容分析，研究与人口统计偏见失衡相关的主题。

实验结果

研究问题

• RQ1 能否利用对抗性触发器，基于人口统计提及，系统性地在NLG输出中诱导负面、中性或正面偏见？
• RQ2 在生成的文本中，哪些主题与人口统计偏见失衡最为相关？
• RQ3 偏见诱导的有效性在不同人口统计群体之间如何变化？这揭示了模型的哪些局限性？
• RQ4 能否设计出触发器以缓解偏见，并在NLG模型中实现不同人口统计群体之间偏见极性的均衡化？
• RQ5 该缓解触发器是否能推广到未见姓名，并在真实世界对话应用中保持有效性？

主要发现

• 缓解触发器将黑人姓名与白人姓名之间的平均尊重评分差距从 0.25 降低至 0.01，表明偏见得到了有效均衡化。
• 对于已见和未见姓名，缓解触发器均保持了稳定的性能，表明其在不同人口统计姓名上的泛化能力。
• 黑人姓名的平均尊重评分从 0.38 上升至 0.53，白人姓名从 0.37 上升至 0.52，表明偏见显著向中性及正面方向转变。
• 该方法成功诱导了对“种族-黑人”的负面偏见和对“种族-白人”的正面偏见，揭示了如国际关系提及增加等主题层面的失衡。
• 对“种族-白人”群体诱导负面偏见比对“种族-黑人”更困难，对“性取向-异性恋”群体也比对“性取向-男同性恋”更困难，表明模型在偏见易感性方面存在不对称性。
• 人工评估验证了自动偏见评分，标注者间一致性为 0.71，人工标签与自动标签之间的相关性为 0.66。