[论文解读] Stating Comparison Score Uncertainty and Verification Decision Confidence Towards Transparent Face Recognition

Marco Huber, Philipp Terhörst+3 more|arXiv (Cornell University)|Oct 19, 2022

Face recognition and analysis被引用 7

一句话总结

本文提出估计面部识别中的比较分数不确定性与决策置信度，以增强透明度与可信度。通过利用蒙特卡洛丢弃法将模型不确定性传播至分数，并基于分数不确定性推导置信度度量，该方法提升了决策的可靠性，尤其在XQLFW等具有挑战性的数据集上表现更优，优于仅基于分数-阈值距离的直观置信度。

ABSTRACT

Face Recognition (FR) is increasingly used in critical verification decisions and thus, there is a need for assessing the trustworthiness of such decisions. The confidence of a decision is often based on the overall performance of the model or on the image quality. We propose to propagate model uncertainties to scores and decisions in an effort to increase the transparency of verification decisions. This work presents two contributions. First, we propose an approach to estimate the uncertainty of face comparison scores. Second, we introduce a confidence measure of the system's decision to provide insights into the verification decision. The suitability of the comparison scores uncertainties and the verification decision confidences have been experimentally proven on three face recognition models on two datasets.

研究动机与目标

• 为解决面部识别决策中缺乏透明度的问题，特别是在执法和访问控制等高风险应用中。
• 估计面部比较分数的不确定性，超越仅基于分数-阈值距离的直观置信度。
• 引入一种结合分数不确定性的决策置信度度量，以获得更可靠的验证结果。
• 在多个面部识别模型与数据集上评估所提出的不确定性与置信度度量，证明其实际应用价值。
• 强调在生物特征系统中不透明决策带来的伦理与操作风险，并倡导透明化。

提出的方法

• 在推理过程中使用蒙特卡洛丢弃法近似模型不确定性，并将其传播至面部比较分数。
• 通过在多次前向传播中启用丢弃，将分数不确定性估计为预测结果的方差。
• 将决策置信度定义为比较分数及其估计不确定性的函数，并引入可学习的缩放参数α。
• 通过操作点（如FMR@0.001）校准置信度度量，以确保在现实约束下的可靠性。
• 使用等化排名曲线（ERC）与热力图可视化评估所提出的不确定性与置信度度量，与直观置信度进行比较。
• 在两个数据集（Adience, XQLFW）上将该方法应用于三种最先进面部识别模型（ArcFace, MagFace, CurricularFace）。

实验结果

研究问题

• RQ1 模型不确定性能否有效传播至面部比较分数，以估计其可靠性？
• RQ2 基于分数不确定性的所提决策置信度度量，与仅基于分数-阈值距离的直观置信度相比表现如何？
• RQ3 将分数不确定性纳入考量是否能提升验证决策的可靠性，特别是在具有挑战性的跨质量图像对上？
• RQ4 在过滤高不确定性比较时，所提出的不确定性估计在多大程度上降低了错误率？
• RQ5 所提出的置信度度量是否能更有效地识别真实生物特征系统中的不可靠决策？

主要发现

• 所提出的分数不确定性估计能有效识别不可靠比较，当过滤掉高不确定性配对时，错误率显著下降，如等化排名曲线（ERC）所示。
• 在XQLFW数据集上，所提出的决策置信度在可靠性方面优于直观置信度，尤其得益于对高、低质量图像对中不确定性的纳入。
• 热力图可视化显示，所提出的置信度度量对置信度的解释更具细致性与自然性，因其同时考虑了相似性与不确定性；而直观方法仅依赖于分数与阈值距离。
• 该方法在决策可靠性方面实现了可测量的提升，尤其在低误匹配率（FMR@0.001）下表现更优，且在更具挑战性的XQLFW数据集上表现最佳。
• 该置信度度量具有阈值依赖性，可通过α参数进行校准，从而在实际操作环境中具备灵活性。
• 结果表明，不确定性感知的面部识别可增强透明度，并降低在关键应用中因伦理问题导致决策风险。