[论文解读] Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome Homogenization?

Rishi Bommasani, Kathleen Creel+3 more|arXiv (Cornell University)|Nov 25, 2022

Ethics and Social Impacts of AI被引用 27

一句话总结

本论文将结果同质化形式化为算法性单一化的风险，并在实证上测试共享训练数据和基础模型如何影响个人和群体在公平基准、视觉和语言任务中的同质化负面结果。

ABSTRACT

As the scope of machine learning broadens, we observe a recurring theme of algorithmic monoculture: the same systems, or systems that share components (e.g. training data), are deployed by multiple decision-makers. While sharing offers clear advantages (e.g. amortizing costs), does it bear risks? We introduce and formalize one such risk, outcome homogenization: the extent to which particular individuals or groups experience negative outcomes from all decision-makers. If the same individuals or groups exclusively experience undesirable outcomes, this may institutionalize systemic exclusion and reinscribe social hierarchy. To relate algorithmic monoculture and outcome homogenization, we propose the component-sharing hypothesis: if decision-makers share components like training data or specific models, then they will produce more homogeneous outcomes. We test this hypothesis on algorithmic fairness benchmarks, demonstrating that sharing training data reliably exacerbates homogenization, with individual-level effects generally exceeding group-level effects. Further, given the dominant paradigm in AI of foundation models, i.e. models that can be adapted for myriad downstream tasks, we test whether model sharing homogenizes outcomes across tasks. We observe mixed results: we find that for both vision and language settings, the specific methods for adapting a foundation model significantly influence the degree of outcome homogenization. We conclude with philosophical analyses of and societal challenges for outcome homogenization, with an eye towards implications for deployed machine learning systems.

研究动机与目标

• 以动机并形式化在算法性单一化下，结果同质化成为一种系统性伤害的风险。
• 提出并使其可操作化一个数学框架，用以在个体和群体层面衡量同质化。
• 通过分析跨基准的数据共享和基础模型共享，实证检验组件共享假设。
• 强调部署的机器学习系统的哲学和社会影响。

提出的方法

• 为每个决策者模型 h^i 定义失效 F^i，将系统性失效定义为所有模型在同一个体上都失效的概率。
• 引入个体层面的同质化度量 H^{individual} = 系统性失效 / ∏ fail(h^i)，以将同质化与总体准确性分离。
• 推广到群体同质化 H_{G}^{group}，并使用加权方案（平均、均匀、最坏）。
• 在跨任务和模型族中，使用固定数据集共享数据与不共享数据来比较共享数据与非共享数据下的同质化。
• 实验基于基础模型的自适应方法（视觉：scratch、线性探针、微调；语言：线性探针、微调、BitFit）以评估它们在跨任务上的同质化影响。

实验结果

研究问题

• RQ1 在决策者之间共享训练数据是否会提高个体和群体的结果同质化？
• RQ2 基础模型共享和不同的自适应方法是否会放大或减轻视觉与语言任务中的结果同质化？
• RQ3 个体层面与群体层面的同质化如何比较，以及对公平性分析的含义？
• RQ4 同质化与传统指标如准确性、公平性和鲁棒性之间的关系是什么？
• RQ5 在部署系统中，结果同质化会带来哪些哲学与社会挑战？

主要发现

• 数据共享增加结果同质化；固定共享（相同数据）比跨数据集和模型的非共享更易产生同质化。
• 在 ACS PUMS 实验中，个体层面的同质化超过群体层面的同质化，表明个体在群体效应似乎被减弱时也可能经历系统性伤害。
• 基础模型共享产生混合结果；任务自适应的程度和机制（例如探针 probing 与微调）对同质化有显著影响。
• 线性探针在视觉任务中往往产生比微调更同质化的结果，而语言任务中探针通常比微调/BitFit 更同质化；scratch 模型在某些视觉场景下可能最同质化。
• 应加强对个体为中心的分析，因为群体层面的分析可能忽视影响特定个体的系统性伤害。