[论文解读] PrivacyProber: Assessment and Detection of Soft-Biometric Privacy-Enhancing Techniques

Peter Rot, Peter Peer+1 more|arXiv (Cornell University)|Nov 16, 2022

Face recognition and analysis被引用 4

一句话总结

本文提出了PrivacyProber，一种能够从经过隐私增强的面部图像中恢复被抑制的软生物特征属性（例如性别、年龄、种族）的框架，证明了当前最先进的隐私保护技术在属性重建攻击下存在脆弱性。此外，本文还提出了APEND，一种无需训练、可广泛适用的检测器，能够以高准确率识别隐私增强图像，揭示了生物特征隐私系统中的关键攻击向量。

ABSTRACT

Soft-biometric privacy-enhancing techniques represent machine learning methods that aim to: (i) mitigate privacy concerns associated with face recognition technology by suppressing selected soft-biometric attributes in facial images (e.g., gender, age, ethnicity) and (ii) make unsolicited extraction of sensitive personal information infeasible. Because such techniques are increasingly used in real-world applications, it is imperative to understand to what extent the privacy enhancement can be inverted and how much attribute information can be recovered from privacy-enhanced images. While these aspects are critical, they have not been investigated in the literature. We, therefore, study the robustness of several state-of-the-art soft-biometric privacy-enhancing techniques to attribute recovery attempts. We propose PrivacyProber, a high-level framework for restoring soft-biometric information from privacy-enhanced facial images, and apply it for attribute recovery in comprehensive experiments on three public face datasets, i.e., LFW, MUCT and Adience. Our experiments show that the proposed framework is able to restore a considerable amount of suppressed information, regardless of the privacy-enhancing technique used, but also that there are significant differences between the considered privacy models. These results point to the need for novel mechanisms that can improve the robustness of existing privacy-enhancing techniques and secure them against potential adversaries trying to restore suppressed information.

研究动机与目标

• 评估软生物特征隐私增强技术在属性恢复攻击下的鲁棒性。
• 探究隐私增强的面部图像是否可被逆向工程以恢复被抑制的属性（如性别、年龄、种族）。
• 开发一种通用的、无需训练的检测方法，以识别跨多种数据集和技术的隐私增强图像。
• 评估隐私模型在对抗性恢复尝试下的真实世界可靠性，超越零成本评估。

提出的方法

• 提出PrivacyProber框架，利用基于深度学习的属性恢复模型，从隐私增强的面部图像中重建软生物特征属性。
• 使用在原始图像上训练的多个属性分类器（如性别、年龄、种族）来从隐私增强输入中推断被抑制的属性。
• 提出APEND检测方法，通过比较恢复图像与原始输入的预测结果，在无需模型微调的情况下检测隐私增强。
• 通过聚合多次恢复尝试的证据来提高检测鲁棒性，尤其在信号弱或伪影多的场景下表现更优。
• 在三种公开数据集（LFW、MUCT和Adience）上应用该框架，在黑盒假设下确保泛化能力。
• 采用等错误率（EER）阈值决策规则，以平衡检测中的假阳性和假阴性。

实验结果

研究问题

• RQ1 在使用最先进的隐私保护技术下，软生物特征属性在多大程度上可从隐私增强的面部图像中被恢复？
• RQ2 不同隐私增强模型（如对抗性扰动和生成模型）在属性恢复性能上表现如何？
• RQ3 能否开发一种无需训练、通用的检测方法，以识别不同底层隐私技术或数据分布下的隐私增强图像？
• RQ4 图像质量和伪影对隐私检测与属性恢复的可靠性有何影响？
• RQ5 不同隐私模型在视觉影响和残留信息泄露方面有何差异？

主要发现

• PrivacyProber在所有测试的隐私保护技术下均成功恢复了大量被抑制的软生物特征属性，表明当前方法对有针对性的恢复攻击缺乏鲁棒性。
• 生成模型FlowSAN–3和FlowSAN–5在抵御属性恢复攻击方面表现出显著更高的鲁棒性，优于对抗性方法如k–AAP和FGSM。
• APEND在各数据集上的平均AUC达到0.940，相较于PREM在Adience数据集上使用k–AAP时的性能高出超过23%，证明了证据聚合的有效性。
• APEND即使在黑盒假设下也能以高准确率检测隐私增强，且在不同数据特征和隐私模型间表现出良好泛化能力。
• APEND的失败案例主要源于图像伪影或画质差，这些因素阻碍了准确的属性恢复，导致误检。
• 本研究揭示了一个关键攻击向量：隐私增强图像可被可靠检测，并可能通过其他对伪影不敏感的处理流程被利用。