[论文解读] Towards Identifying Social Bias in Dialog Systems: Frame, Datasets, and Benchmarks

Jingyan Zhou, Jiawen Deng+7 more|arXiv (Cornell University)|Feb 16, 2022

Topic Modeling被引用 6

一句话总结

本文提出了Dial-Bias框架，一种四阶段方法，用于通过评估上下文敏感性、数据类型、目标群体和隐含态度来分析对话系统中的社会偏见。该研究提出了CDial-Bias，这是首个经过精细标注的中文对话偏见数据集，包含28,000对上下文-回复样本，涵盖种族、性别、地区和职业等主题，并建立了基准测试，揭示当前模型和API在检测细微偏见方面表现不足，强调了在中文对话系统中采用上下文感知、多维偏见检测的必要性。

ABSTRACT

The research of open-domain dialog systems has been greatly prospered by neural models trained on large-scale corpora, however, such corpora often introduce various safety problems (e.g., offensive languages, biases, and toxic behaviors) that significantly hinder the deployment of dialog systems in practice. Among all these unsafe issues, addressing social bias is more complex as its negative impact on marginalized populations is usually expressed implicitly, thus requiring normative reasoning and rigorous analysis. In this paper, we focus our investigation on social bias detection of dialog safety problems. We first propose a novel Dial-Bias Frame for analyzing the social bias in conversations pragmatically, which considers more comprehensive bias-related analyses rather than simple dichotomy annotations. Based on the proposed framework, we further introduce CDail-Bias Dataset that, to our knowledge, is the first well-annotated Chinese social bias dialog dataset. In addition, we establish several dialog bias detection benchmarks at different label granularities and input types (utterance-level and context-level). We show that the proposed in-depth analyses together with these benchmarks in our Dial-Bias Frame are necessary and essential to bias detection tasks and can benefit building safe dialog systems in practice.

研究动机与目标

• 为解决在开放域对话系统中检测细微、上下文依赖的社会偏见的挑战，这些偏见通常隐含且难以通过二元分类或词典匹配方法识别。
• 开发一种全面、整体性的框架，用于分析对话中的社会偏见，超越简单的标注或关键词匹配方法。
• 创建首个高质量、精细标注的中文对话偏见数据集（CDial-Bias），涵盖四大主要偏见主题：种族、性别、地区和职业。
• 建立细粒度基准，用于评估对话系统在社会偏见检测方面的表现，支持对模型性能和标注实用性的深入分析。
• 使用所提出的框架和分类器评估代表性中文生成模型，揭示其响应中持续存在的社会偏见。

提出的方法

• 提出Dial-Bias框架，一种四步流程：(1) 评估上下文敏感性（上下文依赖或独立的响应），(2) 分类数据类型（如偏见表达、中性或模糊），(3) 识别目标社会群体（如性别、地区），(4) 确定对群体的隐含态度（如正面、负面、中性）。
• 从中文社交媒体平台知乎收集28,000对上下文-回复样本，采用结构化数据爬取与标注流程，确保数据的代表性与质量。
• 采用多标签标注方案，引入四个源自框架的辅助标签，支持对偏见表达与上下文依赖性的细粒度分析。
• 利用CDial-Bias数据集建立基准，评估现成API与自定义分类器在不同偏见检测任务中的表现。
• 通过人工评估与模型检测对比偏见检测能力，强调辅助标签在提升检测准确率方面的重要性。
• 将该框架应用于评估主流中文生成模型，识别偏见模式，并通过自动化与人工评估相结合的方法测量其风险水平。

实验结果

研究问题

• RQ1 如何在超越二元分类或词典匹配方法的基础上，系统性地分析对话系统中的社会偏见？
• RQ2 当前的现成API和模型在多大程度上能够检测中文对话中细微、上下文依赖的社会偏见？
• RQ3 辅助标签（上下文敏感性、数据类型、目标群体、隐含态度）对偏见检测模型性能有何影响？
• RQ4 CDial-Bias数据集中标签分布在多大程度上反映了现实网络对话中的情况，特别是对代表性不足的偏见类型？
• RQ5 所提出的框架与数据集能否有效揭示当前最先进的中文生成模型中的隐藏偏见？

主要发现

• CDial-Bias数据集包含28,000对上下文-回复样本，标注有四个详细标签，涵盖四大主要社会偏见主题：种族、性别、地区和职业。
• 该数据集表现出高度不平衡的标签分布，仅有1.6%的样本被标注为“反偏见”，反映了现实网络社区中的动态特征。
• 现成API与现有模型在检测细微、上下文依赖偏见方面能力有限，凸显了开发专用上下文感知检测方法的必要性。
• 引入Dial-Bias框架中的辅助标签显著提升了偏见检测性能，证明其在准确识别中的关键作用。
• 对代表性中文生成模型的评估揭示其响应中存在持续的社会偏见，表明在实际部署中仍存在风险。
• 本研究指出，当前方法往往难以检测到隐含或上下文敏感的偏见，尤其是在依赖表面文本匹配或二元分类时。