[论文解读] REPAIR: Removing Representation Bias by Dataset Resampling

Yi Li, Nuno Vasconcelos|arXiv (Cornell University)|Apr 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 39被引用 15

一句话总结

本文提出 REPAIR，一种可微分的数据集重采样方法，通过将偏差最小化建模为极大极小优化问题，以减少表示偏差。通过使用随机梯度下降迭代更新分类器权重和样本采样权重，REPAIR 减少了视频数据集中的静态偏差，从而提升了模型泛化能力——在 Kinetics 数据集上实现了 2% 的 mAP 提升，并在 I3D 模型中提高了时间结构得分。

ABSTRACT

Modern machine learning datasets can have biases for certain representations that are leveraged by algorithms to achieve high performance without learning to solve the underlying task. This problem is referred to as "representation bias". The question of how to reduce the representation biases of a dataset is investigated and a new dataset REPresentAtion bIas Removal (REPAIR) procedure is proposed. This formulates bias minimization as an optimization problem, seeking a weight distribution that penalizes examples easy for a classifier built on a given feature representation. Bias reduction is then equated to maximizing the ratio between the classification loss on the reweighted dataset and the uncertainty of the ground-truth class labels. This is a minimax problem that REPAIR solves by alternatingly updating classifier parameters and dataset resampling weights, using stochastic gradient descent. An experimental set-up is also introduced to measure the bias of any dataset for a given representation, and the impact of this bias on the performance of recognition models. Experiments with synthetic and action recognition data show that dataset REPAIR can significantly reduce representation bias, and lead to improved generalization of models trained on REPAIRed datasets. The tools used for characterizing representation bias, and the proposed dataset REPAIR algorithm, are available at https://github.com/JerryYLi/Dataset-REPAIR/.

研究动机与目标

• 解决机器学习数据集中的表示偏差问题，即模型过度拟合于静态帧或背景等虚假线索，而非学习与任务相关的动态特征。
• 开发一种用于测量和量化给定特征表示下数据集中表示偏差的方法。
• 提出一种基于优化的可微分重采样策略，以最小化表示偏差，同时保留与任务相关的信息。
• 评估偏差减少对不同数据集和模型架构下模型泛化能力和公平性的影响。
• 提供一个可复现的实验框架，用于评估数据集偏差对模型性能和泛化能力的影响。

提出的方法

• 将表示偏差最小化建模为极大极小问题：最大化重加权数据集上的分类损失与真实标签不确定性的比值。
• 使用深度神经网络作为特征提取器，以获取感兴趣的表示，随后通过线性分类器计算样本级别的损失。
• 通过交替更新分类器参数和数据集重采样权重，利用随机梯度下降（SGD）求解极大极小问题。
• 采用可微分的重加权方案，惩罚当前模型易于分类的样本，从而减少对偏差表示的依赖。
• 引入时间结构得分以衡量模型对视频动态的依赖程度，计算方式为原始剪辑与时间反转剪辑之间特征向量的平均欧氏距离。
• 将 REPAIR 方法应用于 Kinetics、HMDB51 和 UCF101 等真实世界数据集，并与随机子采样和基线训练结果进行比较。

实验结果

研究问题

• RQ1 在何种程度上，可以使用可微分的端到端框架来量化和测量视频数据集中的表示偏差？
• RQ2 与随机子采样相比，基于 REPAIR 的重采样在偏差数据集上训练的模型泛化性能提升程度如何？
• RQ3 减少视频数据集中的静态偏差是否会导致模型更依赖于时间动态而非帧级线索？
• RQ4 表示偏差如何影响不同数据集之间模型评估的公平性和可比性？
• RQ5 REPAIR 是否能改善在偏差不匹配问题已知的下游数据集上的模型性能？

主要发现

• REPAIR 在合成 Colored MNIST 和真实世界动作识别数据集中均减少了表示偏差，且与随机子采样相比具有统计显著性优势。
• 在 Kinetics 数据集上，使用 REPAIR 处理后的数据集训练的 I3D 模型，其平均平均精度（mAP）相比原始数据集训练的模型提升了约 2%。
• 在 Kinetics 与 HMDB51 的 12 个共有类别中，有 7 个类别显示出静态偏差与泛化性能之间存在强烈的负相关性，表明偏差减少可提升泛化能力。
• 在 REPAIR 处理后的数据集上训练的 I3D 模型表现出更高的时间结构得分——表明其对视频动态的依赖性更强，尤其在移除更多有偏差样本后更为明显。
• 时间结构得分的提升是 REPAIR 独有的，并未在随机子采样中观察到，证明了偏差消除而非单纯的数据缩减，是提升时间建模能力的关键因素。
• 实验设置表明，表示偏差显著影响模型的泛化能力和公平性，而 REPAIR 在多个基准上有效缓解了这些问题。