[论文解读] Quantifying Social Biases Using Templates is Unreliable

Preethi Seshadri, Pouya Pezeshkpour+1 more|arXiv (Cornell University)|Oct 9, 2022

Topic Modeling被引用 9

一句话总结

本文表明，使用基于模板的评估方法时，大语言模型中的偏见测量结果极不稳定且不可靠，因为即使是对模板进行微小的、语义上保持不变的修改，也可能导致偏见得分波动高达162%。研究揭示，模板选择会严重影响公平性结论，因此呼吁研究人员采用更全面、基于人工判断的基准测试方法，而非依赖有限且随意选择的模板。

ABSTRACT

Recently, there has been an increase in efforts to understand how large language models (LLMs) propagate and amplify social biases. Several works have utilized templates for fairness evaluation, which allow researchers to quantify social biases in the absence of test sets with protected attribute labels. While template evaluation can be a convenient and helpful diagnostic tool to understand model deficiencies, it often uses a simplistic and limited set of templates. In this paper, we study whether bias measurements are sensitive to the choice of templates used for benchmarking. Specifically, we investigate the instability of bias measurements by manually modifying templates proposed in previous works in a semantically-preserving manner and measuring bias across these modifications. We find that bias values and resulting conclusions vary considerably across template modifications on four tasks, ranging from an 81% reduction (NLI) to a 162% increase (MLM) in (task-specific) bias measurements. Our results indicate that quantifying fairness in LLMs, as done in current practice, can be brittle and needs to be approached with more care and caution.

研究动机与目标

• 调查用于大语言模型公平性评估的评价模板中，微小但语义保持不变的修改对偏见测量的敏感性。
• 评估基于模板的公平性基准测试在相同潜在偏见情境的不同表达方式下，是否能产生一致且可靠的结果。
• 挑战当前对极简、人工挑选的模板集合的依赖，此类模板可能导致关于模型公平性的误导性结论。
• 倡导采用更全面、多样化且经人工验证的基准测试策略，以替代简单化的基于模板的诊断方法。

提出的方法

• 以语义保持的方式手动修改先前研究中使用的模板，创建保留核心含义但表达方式不同的替代版本。
• 将原始模板和修改后的模板应用于四项NLP任务：情感分析、毒性检测、自然语言蕴涵（NLI）和掩码语言建模（MLM）。
• 使用统计检验（如卡方检验）测量任务特定的偏见，以评估性别偏见，并比较原始模板与修改后模板的结果。
• 对偏见结果（例如显著 vs. 不显著）进行分类，以评估不同模板变体之间的一致性。
• 量化模板修改前后偏见得分的变化幅度，报告相对于原始测量值的百分比增减。
• 采用与模型无关的方法，确保修改具有连贯性和意义，避免使用对抗性或人工参与生成的方法。

实验结果

研究问题

• RQ1 偏见测量对模板措辞的微小、语义保持性修改有多敏感？
• RQ2 模板修改在多大程度上改变了关于模型是否表现出显著偏见的结论？
• RQ3 同一潜在偏见情境的不同模板版本之间，偏见得分最多可波动多少？
• RQ4 当同一偏见以略微重述的模板进行测试时，当前基于模板的公平性评估是否能产生一致的结果？

主要发现

• 偏见测量结果在模板修改后出现显著差异，NLI任务中偏见得分最高下降81%。
• 在掩码语言建模（MLM）任务中，模板修改后偏见得分最高上升162%，表明对模型行为的感知出现显著变化。
• 在情感分析任务中，33%的修改模板导致与原始模板相比，偏见分类结果不同（显著 vs. 不显著）。
• 毒性检测任务中，模板修改后偏见得分上升127%，凸显评估结果的不稳定性。
• 研究发现，即使语义内容基本保持不变，关于模型公平性的结论也高度依赖于模板选择。
• 这些结果表明，基于模板的公平性评估方法脆弱，可能导致不一致或误导性的模型偏见结论。