[论文解读] Prompting Fairness: Integrating Causality to Debias Large Language Models

Jingling Li, Zeyu Tang+5 more|arXiv (Cornell University)|Mar 13, 2024

Legal Education and Practice Innovations被引用 6

一句话总结

本文提出一种因果引导的去偏框架，用于大语言模型（LLMs），通过利用数据生成与推理过程的因果关系来设计促使避免偏见推理、鼓励无偏见推理的提示，在对WinoBias和Discrim-Eval进行黑盒访问的实证去偏方面取得了较强的效果。

ABSTRACT

Large language models (LLMs), despite their remarkable capabilities, are susceptible to generating biased and discriminatory responses. As LLMs increasingly influence high-stakes decision-making (e.g., hiring and healthcare), mitigating these biases becomes critical. In this work, we propose a causality-guided debiasing framework to tackle social biases, aiming to reduce the objectionable dependence between LLMs' decisions and the social information in the input. Our framework introduces a novel perspective to identify how social information can affect an LLM's decision through different causal pathways. Leveraging these causal insights, we outline principled prompting strategies that regulate these pathways through selection mechanisms. This framework not only unifies existing prompting-based debiasing techniques, but also opens up new directions for reducing bias by encouraging the model to prioritize fact-based reasoning over reliance on biased social cues. We validate our framework through extensive experiments on real-world datasets across multiple domains, demonstrating its effectiveness in debiasing LLM decisions, even with only black-box access to the model.

研究动机与目标

• 通过分析人口统计信息如何通过选择机制促发偏见性推理来建模和缓解LLM输出中的社会偏见。
• 建立一个以数据生成和模型推理的因果模型为基础的有原则性的提示框架。
• 在因果去偏策略下统一现有的去偏提示（抑制式与对比式），并在封闭式与开源模型上进行评估。
• 为仅有黑盒访问的去偏LLMs提供经验上稳健的指导。

提出的方法

• 构建训练数据生成过程的因果模型，以识别人口统计信息如何与偏见输出相关联。
• 构建LLM推理的因果模型，并通过由提示调制的选择机制将其与数据生成模型相连接。
• 提出三种提示策略（策略I–策略III），对内部表示和选择路径施加约束以去偏输出。
• 形式化提示设计应满足的条件，以引导向对人口统计无关的事实，并对现有偏见进行反击。
• 在WinoBias和Discrim-Eval上进行经验评估，比较基线（Default、带对比示例的ICL、Zero-shot COT）。
• 证明结合鼓励无偏见推理与抑制偏见推理的组合相比基线能获得更强的去偏效果。

实验结果

研究问题

• RQ1 如何用数据生成和LLM推理的因果模型解释输出中人口统计偏见的产生？
• RQ2 是否可以设计提示来控制LLM中的选择机制，在黑盒访问下减少偏见？
• RQ3 鼓励无偏见推理和/或抑制偏见推理的策略是否优于传统提示基线在LLM去偏中的表现？
• RQ4 因果驱动去偏在性别偏见上的经验影响，涵盖共指任务与真实世界数据集？

主要发现

• 鼓励无偏见推理、抑制偏见推理的提示在WinoBias上显著降低LLMs的性别偏见，包括正向与反向句子之间的巨大差距。
• Combine Reduce + Fact 方法在偏见差距方面达到最小，在某些设置下GPT-4在Type I共指任务的差距为2.17%，Type II为0.13%。
• 在Discrim-Eval上，提示策略普遍降低对不同人口群体的歧视，能力更高的模型显示更小的偏见差距。
• 该框架通过将现有基于提示的去偏方法解释为所提出的因果提示设计策略的实例，从而统一它们。
• 结果在黑盒访问下成立，证明对闭源LLMs的实际适用性。