[论文解读] There is an elephant in the room: Towards a critique on the use of fairness in biometrics

Ana María Cuadros Valdivia, Júlia Corbera-Serrajòrdia+1 more|arXiv (Cornell University)|Dec 16, 2021

COVID-19 Digital Contact Tracing被引用 4

一句话总结

本文批判了生物识别系统中日益增长的算法公平性关注，认为公平性度量在数学上存在冲突，无法解决生物识别技术在移民管控中所嵌入的深层政治与历史不公。本文从理论和实证两方面证明，由于公平性定义之间的冲突以及训练数据中的偏见，实现公平的生物识别系统在理论上是不可能的，揭示出公平性话语掩盖了边境技术中系统性种族主义与殖民历史遗产的真相。

ABSTRACT

In 2019, the UK's Immigration and Asylum Chamber of the Upper Tribunal dismissed an asylum appeal basing the decision on the output of a biometric system, alongside other discrepancies. The fingerprints of the asylum seeker were found in a biometric database which contradicted the appellant's account. The Tribunal found this evidence unequivocal and denied the asylum claim. Nowadays, the proliferation of biometric systems is shaping public debates around its political, social and ethical implications. Yet whilst concerns towards the racialised use of this technology for migration control have been on the rise, investment in the biometrics industry and innovation is increasing considerably. Moreover, fairness has also been recently adopted by biometrics to mitigate bias and discrimination on biometrics. However, algorithmic fairness cannot distribute justice in scenarios which are broken or intended purpose is to discriminate, such as biometrics deployed at the border. In this paper, we offer a critical reading of recent debates about biometric fairness and show its limitations drawing on research in fairness in machine learning and critical border studies. Building on previous fairness demonstrations, we prove that biometric fairness criteria are mathematically mutually exclusive. Then, the paper moves on illustrating empirically that a fair biometric system is not possible by reproducing experiments from previous works. Finally, we discuss the politics of fairness in biometrics by situating the debate at the border. We claim that bias and error rates have different impact on citizens and asylum seekers. Fairness has overshadowed the elephant in the room of biometrics, focusing on the demographic biases and ethical discourses of algorithms rather than examine how these systems reproduce historical and political injustices.

研究动机与目标

• 挑战‘公平性可解决用于移民管控的生物识别系统中伦理问题’这一假设。
• 证明机器学习中的公平性定义在数学上相互排斥，使得无偏见的生物识别系统在理论上不可能实现。
• 通过实证研究证明，尽管声称已减轻偏见，生物识别系统在性别、年龄和种族群体中仍存在不公平现象。
• 揭示生物识别数据集如何通过过时且具有冒犯性的分类方式，再现种族化与性别化的等级制度。
• 主张对公平性的关注掩盖了生物识别系统本质是为实现边境管控与歧视服务的政治现实。

提出的方法

• 将机器学习中的公平性定义转化为生物识别语境，进行理论分析，以证明其数学上的不相容性。
• 复现先前生物识别公平性研究中的实验，以实证方式检验不同人口群体中的公平性标准。
• 在年龄、性别和种族群体中，运用多种公平性标准（如人口均等、机会均等、几率均等）评估公平性。
• 分析决策阈值及其对生物识别认证系统公平性结果的影响。
• 批判性审视生物识别训练数据集中的种族与性别分类方式，突出其中过时且具有排斥性的建构。
• 整合批判性边境研究与去殖民化理论，将生物识别系统定位为历史与政治边缘化的工具。

实验结果

研究问题

• RQ1 当多种公平性定义在数学上相互排斥时，生物识别系统能否真正实现公平？
• RQ2 鉴于评估方法存在缺陷，现有生物识别公平性研究在多大程度上能准确衡量人口群体偏见？
• RQ3 生物识别数据集如何通过其分类实践再现种族与性别等级制度？
• RQ4 当生物识别系统被部署于移民管控情境时，将其框架为‘公平’会产生何种政治后果？
• RQ5 为何对公平性的关注会掩盖生物识别系统在边境中所嵌入的更深层次结构性不公？

主要发现

• 机器学习中的多种公平性定义（如人口均等、机会均等、几率均等）在数学上相互排斥，使得任何生物识别系统都无法同时满足所有标准。
• 对先前生物识别公平性研究的实证复现显示，即使在最优决策阈值下，不同性别、年龄和种族群体之间的错误接受率与错误拒绝率仍存在显著差异。
• 生物识别训练数据集系统性地低估非西方人口，并依赖过时且具有冒犯性的种族与性别分类，强化了殖民与父权等级制度。
• 生物识别系统中的决策阈值对公平性结果具有关键影响，但大多数研究在其评估框架中未能考虑这一点。
• 尽管某些生物识别系统（如指静脉识别）声称实现‘无偏见’性能，但这些说法因统计评估方法存在缺陷而受到质疑，尤其忽略了交叉性与阈值敏感性。
• 欧盟提出的AI监管法规未能涵盖用于移民管控的大规模生物识别数据库，导致具有固有政治与种族化功能的系统仍处于监管盲区。