[论文解读] Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation

Xiangjue Dong, Yibo Wang+2 more|arXiv (Cornell University)|Nov 1, 2023

Topic Modeling被引用 7

一句话总结

本文提出了一种条件文本生成框架，用于探测大型语言模型（LLMs）中的显性和隐性性别偏见，而无需依赖预定义的性别短语或刻板印象。通过使用基于模板的输入、LLM生成的输入以及自然来源的输入，作者发现即使没有明确的性别提示，LLMs在logits和生成文本中仍表现出显著的性别偏见——模型规模并不能保证公平性。

ABSTRACT

Large Language Models (LLMs) can generate biased and toxic responses. Yet most prior work on LLM gender bias evaluation requires predefined gender-related phrases or gender stereotypes, which are challenging to be comprehensively collected and are limited to explicit bias evaluation. In addition, we believe that instances devoid of gender-related language or explicit stereotypes in inputs can still induce gender bias in LLMs. Thus, in this work, we propose a conditional text generation mechanism without the need for predefined gender phrases and stereotypes. This approach employs three types of inputs generated through three distinct strategies to probe LLMs, aiming to show evidence of explicit and implicit gender biases in LLMs. We also utilize explicit and implicit evaluation metrics to evaluate gender bias in LLMs under different strategies. Our experiments demonstrate that an increased model size does not consistently lead to enhanced fairness and all tested LLMs exhibit explicit and/or implicit gender bias, even when explicit gender stereotypes are absent in the inputs.

研究动机与目标

• 解决先前性别偏见评估方法依赖于预定义性别短语或刻板印象的局限性。
• 在输入中缺乏直接性别引用或刻板印象的情况下，检测LLMs中的显性和隐性性别偏见。
• 开发一种采用多样化输入策略的探测框架，以揭示模型行为中的隐藏偏见。
• 评估不同模型规模下的公平性，并确定更大模型是否本质上更少偏见。
• 证明即使在缺乏显式性别提示的情况下，性别偏见仍可能出现在logits和生成文本中。

提出的方法

• 设计三种不同的探测策略：基于模板的（使用如职业、爱好、颜色等刻板印象属性）、LLM生成的（使用模型输出作为输入）以及自然来源的（来自STS-B语料库）。
• 对LLMs进行条件设置，使其从这些输入生成后续内容，重点关注性别代词的使用和分布差异。
• 使用显式指标，如性别代词（例如she与he）的共现比率，以及隐式指标，如性别词logits分布的Jensen-Shannon散度（JSD）。
• 分析logits以在文本生成前检测偏见，揭示那些在输出文本中并不总是可见的潜在偏见。
• 在多个LLMs（例如LLaMA变体）上应用该框架，比较不同模型规模下的公平性。
• 通过案例研究可视化偏见模式，展示即使在生成文本看似中立的情况下，logits中仍存在偏见。

实验结果

研究问题

• RQ1 当输入中不包含显式性别相关短语或刻板印象时，能否检测到LLMs中的性别偏见？
• RQ2 不同的探测策略（基于模板、LLM生成、自然来源）如何影响显性和隐性性别偏见的检测？
• RQ3 增加模型规模是否能一致地提升性别偏见缓解的公平性？
• RQ4 性别偏见在模型logits中与最终生成的文本中有多大程度的体现？
• RQ5 哪些属性（例如职业、爱好、性格特征）在LLMs输出中表现出最高水平的性别偏见？

主要发现

• 即使输入中不包含显式性别刻板印象，LLaMA-7B和LLaMA-70B-chat等LLMs在代词使用和logits中仍表现出显著的性别偏见。
• 性别词分布的JSD分数在不同模型和探测策略间存在差异，且模型规模与公平性之间无一致关系。
• LLaMA-70B-chat在基于模板和LLM生成的输入上表现出最高的JSD分数，表明在这些设置中检测到更强的偏见。
• 在各类属性中，'nurse'（护士）、'mechanic'（机械师）、'carpenter'（木匠）、'sewing'（缝纫）、'woodworking'（木工）和'elegant'（优雅）表现出最高水平的性别偏见。
• 在性别中立语境下，如继续句子“My friend is talking on the phone”时，模型经常为女性关联的代词（如she, her）分配更高的概率。
• 在某些情况下，性别偏见存在于logits中但未体现在最终生成的文本中，凸显了分析模型内部机制而非仅表面输出的重要性。