[论文解读] Turning a Blind Eye: Explicit Removal of Biases and Variation from Deep Neural Network Embeddings

Mohsan Alvi, Andrew Zisserman+1 more|arXiv (Cornell University)|Sep 6, 2018

Face recognition and analysis参考文献 27被引用 13

一句话总结

本文提出一种受域自适应启发的方法——JLU（基于雅可比矩阵的线性遗忘），以显式地从深度神经网络嵌入中移除多种虚假偏差，如年龄、性别、祖先起源和姿态。通过训练辅助分类器来预测这些偏差，并最小化其与均匀分布之间的交叉熵，该方法使特征空间对这些变化不敏感，同时保持主任务的性能，在使用有偏数据训练时，使无偏测试集的准确率最高提升20%。

ABSTRACT

Neural networks achieve the state-of-the-art in image classification tasks. However, they can encode spurious variations or biases that may be present in the training data. For example, training an age predictor on a dataset that is not balanced for gender can lead to gender biased predicitons (e.g. wrongly predicting that males are older if only elderly males are in the training set). We present two distinct contributions: 1) An algorithm that can remove multiple sources of variation from the feature representation of a network. We demonstrate that this algorithm can be used to remove biases from the feature representation, and thereby improve classification accuracies, when training networks on extremely biased datasets. 2) An ancestral origin database of 14,000 images of individuals from East Asia, the Indian subcontinent, sub-Saharan Africa, and Western Europe. We demonstrate on this dataset, for a number of facial attribute classification tasks, that we are able to remove racial biases from the network feature representation.

研究动机与目标

• 为解决深度神经网络从训练数据中学习并放大虚假偏差（如性别、年龄或祖先起源）的问题。
• 开发一种方法，显式地从学习到的特征表示中去除已知偏差，同时不损害主分类任务的性能。
• 通过显式去除偏差，在有偏数据集上进行训练，以提升模型在无偏测试数据上的泛化能力。
• 创建并发布一个新的、多样化的祖先起源数据集（LAOFIW），包含14,000张图像，以支持偏差缓解研究。
• 证明同时去除多种虚假变化可提升面部属性分类的公平性与鲁棒性。

提出的方法

• 该方法使用辅助分类器从主网络的特征嵌入中预测虚假变化（如性别、年龄、姿态）。
• 最小化每种虚假变化的预测分布与均匀分布之间的交叉熵，以促使网络对这些属性不具信息量。
• JLU算法在训练期间应用，以微调特征提取器，使其对指定偏差保持不变。
• 该方法受域自适应启发，使用对比目标使特征空间对不想要的变化保持无感知。
• 该方法可顺序或联合应用于多种虚假变化，性能通过在每类上的下游分类准确率进行评估。
• 提出一种动态加权方案，以应对不同偏差在遗忘过程中的难度差异。

实验结果

研究问题

• RQ1 能否使深度神经网络对多种虚假变化（如性别、年龄、祖先起源和姿态）保持盲视，同时维持主分类任务的性能？
• RQ2 是否通过显式从特征表示中去除已知偏差，可提升在无偏测试数据上的泛化能力，尤其是在使用高度有偏数据集训练时？
• RQ3 JLU算法在多大程度上能遗忘特定偏差？其性能在不同类型虚假变化之间如何变化？
• RQ4 去除偏差如何影响主任务的准确率？在极端偏差场景下，是否甚至能提升性能？
• RQ5 大规模、多样化的祖先起源数据集（LAOFIW）能否有效用于训练和评估偏差去除技术？

主要发现

• JLU算法在12种情况中的9种里，将虚假变化的分类准确率降低至接近随机水平（误差在5%以内），证明了其有效的偏差去除能力。
• 当在年龄有偏数据集上训练性别分类器时，JLU方法使无偏测试集的准确率最高提升20%，表明泛化能力显著增强。
• 在年龄分类任务中，主任务准确率仅比基线下降5%，而性别和姿态信息的遗忘率分别达到88%和91%。
• 在祖先起源分类中，主任务准确率提升了1%，同时92%的年龄信息、98%的性别信息和86%的姿态信息被遗忘。
• 姿态变化最难去除，仅86%的信息被遗忘；而祖先起源信息最难消除，表明其存在固有的特征纠缠。
• 在所有实验中，该方法均保持或提升了主任务性能，表明偏差去除不会损害主任务表现。