[论文解读] RiDDLE: Reversible and Diversified De-identification with Latent Encryptor

Dongze Li, Wei Wang+3 more|ArXiv.org|Mar 9, 2023

Advanced Steganography and Watermarking Techniques被引用 11

一句话总结

RiDDLE 在 StyleGAN2 潜在空间中通过基于密码的潜在变换器对人脸身份进行加密和解密，以实现多样化、高质量、可逆的去身份化。它支持无数据训练和视频去识别。

ABSTRACT

This work presents RiDDLE, short for Reversible and Diversified De-identification with Latent Encryptor, to protect the identity information of people from being misused. Built upon a pre-learned StyleGAN2 generator, RiDDLE manages to encrypt and decrypt the facial identity within the latent space. The design of RiDDLE has three appealing properties. First, the encryption process is cipher-guided and hence allows diverse anonymization using different passwords. Second, the true identity can only be decrypted with the correct password, otherwise the system will produce another de-identified face to maintain the privacy. Third, both encryption and decryption share an efficient implementation, benefiting from a carefully tailored lightweight encryptor. Comparisons with existing alternatives confirm that our approach accomplishes the de-identification task with better quality, higher diversity, and stronger reversibility. We further demonstrate the effectiveness of RiDDLE in anonymizing videos. Code and models will be made publicly available.

研究动机与目标

• 在照片/视频中保护身份信息，同时保留非识别属性和图像实用性。
• 生成多样化的匿名身份，避免同质化的去身份化伪影。
• 在正确的密码下实现原始人脸的可逆恢复，且在密码错误时拒绝恢复，返回不同但可信的去识别化面孔。
• 利用带有变换器的潜在加密器的 StyleGAN2 潜在空间进行端到端训练。
• 在图像和视频数据上展示有效性，提供强隐私保证。

提出的方法

• 通过预训练的反演编码器将人脸图像投影到 StyleGAN2 潜在空间。
• 使用一个基于变换器的潜在加密器，通过交叉注意力将潜在码与密码潜在码融合以生成加密码。
• 通过促进身份多样性（L_div）、去识别（L_deid）和身份恢复（L_rec）以及像素/感知/解析/潜在正则化等项的损失进行训练。
• 通过最小化所有加密和错误解密输出的身份特征相似性来强制多样性。
• 通过在无真实数据时使用随机 StyleGAN 潜在码来实现无数据训练。
• 在图像和视频上展示去识别与恢复，具备密码条件的多样性与质量控制。

实验结果

研究问题

• RQ1 RiDDLE 是否能够在不同密码条件下生成多样且高质量的去识别人脸？
• RQ2 只有在正确密码下才能实现真正的身份恢复，而错误密码会产生不同但可信的去识别人脸？
• RQ3 潜在空间加密是否能保留非身份属性（姿态、表情、纹理）并支持视频去识别？
• RQ4 在隐私（识别率）和实用性（图像/视频质量）方面，RiDDLE 与现有去身份化方法相比表现如何？

主要发现

表/指标	方法	FaceNet CASIA	FaceNet VGGFace2	SphereFace
去识别 ↓	本方法	0.016	0.032	0.025
去识别 ↓	本方法-DF	0.034	0.037	0.025
去识别 ↓	CIAGAN [17]	0.019	0.034	0.010
去识别 ↓	FIT [7]	0.042	0.072	0.065
去识别 ↓	Personal [4]	0.020	0.042	0.017
恢复 ↑	本方法	0.996	0.998	1.000
恢复 ↑	本方法-DF	0.953	0.949	1.000
恢复 ↑	CIAGAN [17]	0.967	0.974	1.000
恢复 ↑	FIT [7]	0.967	0.974	1.000
恢复 ↑	Personal [4]	0.965	0.965	0.998

• RiDDLE 在多种骨干网络下实现低去识别率和高恢复率（例如 FaceNet CASIA/VGGFace2、SphereFace），相较于基线。
• 无数据训练可行，图像质量略降但去识别性能保持。
• RiDDLE 产生的去识别人脸在质量和多样性方面优于若干先前方法（如 CIAGAN、FIT、DeepPrivacy、Personal）。
• 通过定性和定量分析（FID、检测/关键点实用性，以及身份嵌入的 t-SNE）展示身份多样性，经过加密的人脸占据广泛的身份空间。
• 密码插值导致平滑的身份转换，验证在不牺牲其他属性的情况下对身份空间的连续控制。
• RiDDLE 支持通过逐帧潜在加密和重新组装实现视频去识别。