[论文解读] Taxonomizing and Measuring Representational Harms: A Look at Image Tagging

Jared Katzman, Angelina Wang+5 more|arXiv (Cornell University)|May 2, 2023

Psychology of Moral and Emotional JudgmentNeuroscience被引用 3

一句话总结

本文提出了一种图像标注系统中四类不同类型的表征性伤害的分类学——将社会群体物化、抹除、贬低和刻板印象化——并分析了五种计算公平性度量方法在这些伤害类型上的映射关系不均衡问题。研究证明，没有任何一种度量方法能明确识别出特定类型的伤害，且缓解某一类伤害可能与缓解另一类伤害产生冲突，凸显了在公平性评估中需要采用情境感知、价值敏感的设计方法。

ABSTRACT

In this paper, we examine computational approaches for measuring the "fairness" of image tagging systems, finding that they cluster into five distinct categories, each with its own analytic foundation. We also identify a range of normative concerns that are often collapsed under the terms "unfairness," "bias," or even "discrimination" when discussing problematic cases of image tagging. Specifically, we identify four types of representational harms that can be caused by image tagging systems, providing concrete examples of each. We then consider how different computational measurement approaches map to each of these types, demonstrating that there is not a one-to-one mapping. Our findings emphasize that no single measurement approach will be definitive and that it is not possible to infer from the use of a particular measurement approach which type of harm was intended to be measured. Lastly, equipped with this more granular understanding of the types of representational harms that can be caused by image tagging systems, we show that attempts to mitigate some of these types of harms may be in tension with one another.

研究动机与目标

• 通过识别具体且具有规范基础的表征性伤害类型，超越图像标注公平性讨论中模糊的术语如'偏见'或'不公平'。
• 将现有的图像标注计算公平性度量方法划分为五个不同的分析基础类别。
• 考察这些度量方法与所识别出的四类表征性伤害之间的映射关系。
• 揭示单一度量方法无法明确识别出所评估的伤害类型，挑战了对公平性度量可解释性的假设。
• 探讨缓解不同类型表征性伤害之间的张力，强调系统设计中存在固有的权衡。

提出的方法

• 作者分析了2305.01776这篇关于图像标注公平性的同行评审论文，以识别并定义四类不同的表征性伤害：将社会群体物化、抹除、贬低和刻板印象化。
• 他们根据其底层分析基础，将先前提出的计算公平性度量方法聚类为五种类别，例如统计独立性、平等机会和分布相似性等。
• 作者将每种度量方法与四类伤害中的每一类进行映射，证明单一方法可用于评估多种类型的伤害。
• 他们使用先前研究中的具体案例——如性别分类错误、边缘化群体的代表性不足，以及色情内容中的刻板印象标签——来说明每类伤害。
• 论文评估了每类伤害的缓解策略，表明为防止刻板印象化而移除标签可能无意中导致社会群体的抹除，反之亦然。
• 该分析基于真实案例，包括Tumblr对成人内容的封禁政策以及为视障用户生成替代文本的应用，以展示情境依赖的权衡。

Figure 1: Examples of how computational measurement approaches belonging to each of the five categories described earlier might be used to measure each of the four different types of representational harms that can be caused by image tagging systems. This mapping is by no means exhaustive.

实验结果

研究问题

• RQ1 不同的图像标注系统计算公平性度量方法与不同类型的表征性伤害之间有何关系？
• RQ2 图像标注系统可能引发的四类表征性伤害是什么？它们如何再现有害的社会等级制度？
• RQ3 在多大程度上可以使用单一公平性度量方法来检测多种类型的表征性伤害？
• RQ4 为何仅凭使用某种特定度量方法无法推断出其意图衡量的伤害类型？
• RQ5 不同类型的表征性伤害的缓解策略在哪些方面相互冲突？

主要发现

• 所识别出的五种计算公平性度量方法——如统计独立性、平等机会和分布相似性——各自具有不同的分析基础，其解释不可互换。
• 识别出四类不同的表征性伤害：将社会群体物化（体现其存在）、抹除（使其不可见）、贬低（施加冒犯性或刻板印象标签）以及刻板印象化（施加有偏见的属性分布）。
• 这五种度量方法中的每一种都可用于评估全部四类表征性伤害，意味着同一指标无法明确表明其针对的是哪种伤害。
• 研究表明，为防止刻板印象化或贬低而移除标签，可能在敏感内容（如酷儿或性积极媒体）中导致边缘化群体的抹除。
• 针对某一类伤害的缓解策略——例如为避免物化社会群体而移除标签——可能加剧另一类伤害，如抹除，揭示了公平性工程中固有的张力。
• 使用情境（例如为盲人用户生成替代文本 vs. 社交媒体内容审核）在决定优先处理哪些伤害以及采用何种缓解措施方面起着决定性作用。