[论文解读] On the Long-term Impact of Algorithmic Decision Policies: Effort Unfairness and Feature Segregation through Social Learning

Hoda Heidari, Vedant Nanda+1 more|arXiv (Cornell University)|Mar 4, 2019

Experimental Behavioral Economics Studies被引用 26

一句话总结

本文提出一种基于努力程度的公平性框架，用于分析算法决策政策对长期社会影响的作用，通过建模个体如何模仿表现优异的社会模型以改善自身结果。研究发现，训练阶段的公平性约束可能随时间推移反而加剧隔离现象，揭示了短期公平性与资格分布长期公平性之间的权衡。

ABSTRACT

Most existing notions of algorithmic fairness are one-shot: they ensure some form of allocative equality at the time of decision making, but do not account for the adverse impact of the algorithmic decisions today on the long-term welfare and prosperity of certain segments of the population. We take a broader perspective on algorithmic fairness. We propose an effort-based measure of fairness and present a data-driven framework for characterizing the long-term impact of algorithmic policies on reshaping the underlying population. Motivated by the psychological literature on \emph{social learning} and the economic literature on equality of opportunity, we propose a micro-scale model of how individuals may respond to decision-making algorithms. We employ existing measures of segregation from sociology and economics to quantify the resulting macro-scale population-level change. Importantly, we observe that different models may shift the group-conditional distribution of qualifications in different directions. Our findings raise a number of important questions regarding the formalization of fairness for decision-making models.

研究动机与目标

• 解决一次性公平性度量的局限性，后者忽略了算法决策对长期社会影响的考量。
• 建模个体如何通过模仿表现优异的社会模型来响应算法结果，从而导致资格分布的变化。
• 使用社会学中的隔离与均等性度量方法，量化宏观层面的人口结构变化。
• 探究训练阶段的公平性干预是否能带来长期公平的结果，或产生非预期后果。
• 探讨通过算法反馈引导不同社会群体朝向不同资格方向发展的伦理与经济影响。

提出的方法

• 提出一种基于经济学与心理学的基于努力程度的公平性度量方法，将努力定义为为使自身资格匹配社会模型属性而需付出的成本。
• 构建一个微观尺度的行为模型，其中个体仅在效用增益超过努力成本时才模仿社会模型，依据社会学习理论。
• 利用可变特征空间中的焦点点定义邻域，并通过距离的指数衰减来衡量相似性，以建模模仿动态。
• 采用阿特金森指数衡量结果分布的均等性，使用隔离度量（如聚类、集中化）评估群体层面的变化。
• 在模型训练期间应用公平性约束（Heidari et al., 2018），以评估其对隔离与努力不公平性的长期影响。
• 通过追踪不同群体在时间推移中资格分布与结果分布的变化，模拟群体层面的演化过程。

实验结果

研究问题

• RQ1 算法决策政策如何通过社会学习在长期内重塑不同社会群体之间的资格分布？
• RQ2 训练阶段的公平性约束在多大程度上减少或加剧了长期隔离与努力不公平性？
• RQ3 是否可能通过改善短期配置公平性的公平性干预，反而导致长期不利后果，如聚类或集中化程度上升？
• RQ4 社会模型在推动资格获取变化方面发挥何种作用？这种作用在优势群体与劣势群体之间有何差异？
• RQ5 通过算法反馈引导不同群体朝向不同资格方向发展，在伦理与经济上是否可接受？此类引导如何被预防或缓解？

主要发现

• 训练阶段的公平性约束可能增加长期隔离，尤其当公平性阈值 τ 较大时，会逆转初期在聚类方面的改善。
• 对于较小的 τ 值，公平性约束通过增加劣势群体中实现更好结果的人数而减少聚类（隔离），但随着 τ 增大，该效应减弱甚至逆转。
• 结果分布的均等性在不同公平性约束下保持相对稳定，表明主要影响集中在聚类与集中化，而非整体分布的公平性。
• 模型显示，来自劣势群体且获得有利预测的个体可能成为社会模型，从而激励他人模仿——若所需资格成本高昂，可能加剧基于努力的不公平性。
• 模型的长期影响取决于激励减少（因结果保证）与榜样效应（激励努力）之间的平衡，这种平衡可能因模型与人群而异。
• 研究发现与平权行动政策中的混合结果相似，即既存在积极的榜样效应，也存在对努力的负面抑制效应，凸显了情境相关的权衡。