[论文解读] Noise Induces Loss Discrepancy Across Groups for Linear Regression.

Fereshte Khani, Percy Liang|arXiv (Cornell University)|Nov 22, 2019

Explainable Artificial Intelligence (XAI)参考文献 23被引用 5

一句话总结

本文研究了在特征噪声（测量误差）存在的情况下，即使噪声均匀施加，其对线性回归中不同人口群体之间损失差异的影响为何会不成比例。研究表明，特征矩的群体差异导致了模型性能的不均等，推导出估计器适应群体偏移的条件，并在真实世界数据集上进行了验证。

ABSTRACT

We study the effect of feature noise (measurement error) on the discrepancy between losses across two groups (e.g., men and women) in the context of linear regression. Our main finding is that adding even the same amount of noise on all individuals impacts groups differently. We characterize several forms of loss discrepancy in terms of the amount of noise and difference between moments of the two groups, for estimators that either do or do not use group membership information. We then study how long it takes for an estimator to adapt to a shift in the population that makes the groups have the same mean. We finally validate our results on three real-world datasets.

研究动机与目标

• 理解特征测量误差如何导致线性回归中不同人口群体之间模型性能的不平等。
• 将群体间的损失差异表征为噪声水平和群体特定特征矩差异的函数。
• 比较使用或忽略群体成员信息的估计器在减轻或加剧损失差异方面的表现。
• 分析当群体均值在群体偏移后变为相等时，估计器适应所需的时间。
• 在具有多样化群体分布的真实世界数据集上验证理论发现。

提出的方法

• 基于特征的群体特定一阶与二阶矩，推导出在特征噪声下线性回归中损失差异的解析表达式。
• 采用一种噪声模型，其中所有个体均施加相同的噪声方差，但由于矩的差异，群体层面的影响仍不相同。
• 分析群体感知与群体非感知估计器，以比较其对噪声引起的损失偏移的敏感性。
• 建模群体偏移情形，即偏移后群体均值相等，并推导估计器适应的收敛速率。
• 在三个真实世界数据集上进行实证验证，以检验关于损失差异和适应速度的理论预测。

实验结果

研究问题

• RQ1 在特征噪声均匀分布的情况下，为何会导致不同人口群体在线性回归中出现不成比例的损失差异？
• RQ2 群体特征矩的差异（如均值和方差）在噪声下如何放大或减小损失差异？
• RQ3 群体感知与群体非感知估计器对噪声引起的损失差异如何响应？
• RQ4 线性回归估计器在群体均值被均等化后，需要多长时间才能适应群体偏移？
• RQ5 关于损失差异的理论预测在真实世界数据集中在多大程度上成立？

主要发现

• 即使个体间噪声水平相同，由于特征矩的差异，群体间的损失差异仍会呈现发散趋势。
• 损失差异随噪声幅度以及群体特征均值和方差差异的增大而增加。
• 群体感知估计器可减少但无法完全消除噪声下的损失差异，而群体非感知估计器则表现出更高的敏感性。
• 估计器从群体偏移中恢复所需的时间取决于噪声水平和偏移前的群体矩差异。
• 在三个真实世界数据集上的实证结果证实，噪声会导致可测量且可量化的不同人口群体间的损失差异。
• 关于损失差异和适应速度的理论预测与真实数据中的观察模式高度一致。