[论文解读] Privacy Leakage of SIFT Features via Deep Generative Model based Image Reconstruction

Haiwei Wu, Jiantao Zhou|arXiv (Cornell University)|Sep 2, 2020

Digital Media Forensic Detection参考文献 56被引用 6

一句话总结

本文提出了一种新颖的深度生成模型 SIFT-LBP-Image（SLI），通过端到端的粗到细框架，从 SIFT 特征重建图像。该方法首先将 SIFT 特征转换为局部二值模式（LBP）特征以恢复结构布局，随后利用 LBP 作为引导重建像素值。该方法在完整 SIFT 特征下实现了最先进的图像重建质量，并揭示了仅凭 SIFT 坐标即可实现令人惊讶的高质量重建，凸显了坐标保护在隐私保护中的关键作用。

ABSTRACT

Many practical applications, e.g., content based image retrieval and object recognition, heavily rely on the local features extracted from the query image. As these local features are usually exposed to untrustworthy parties, the privacy leakage problem of image local features has received increasing attention in recent years. In this work, we thoroughly evaluate the privacy leakage of Scale Invariant Feature Transform (SIFT), which is one of the most widely-used image local features. We first consider the case that the adversary can fully access the SIFT features, i.e., both the SIFT descriptors and the coordinates are available. We propose a novel end-to-end, coarse-to-fine deep generative model for reconstructing the latent image from its SIFT features. The designed deep generative model consists of two networks, where the first one attempts to learn the structural information of the latent image by transforming from SIFT features to Local Binary Pattern (LBP) features, while the second one aims to reconstruct the pixel values guided by the learned LBP. Compared with the state-of-the-art algorithms, the proposed deep generative model produces much improved reconstructed results over three public datasets. Furthermore, we address more challenging cases that only partial SIFT features (either SIFT descriptors or coordinates) are accessible to the adversary. It is shown that, if the adversary can only have access to the SIFT descriptors while not their coordinates, then the modest success of reconstructing the latent image can be achieved for highly-structured images (e.g., faces) and would fail in general settings. In addition, the latent image can be reconstructed with reasonably good quality solely from the SIFT coordinates. Our results would suggest that the privacy leakage problem can be largely avoided if the SIFT coordinates can be well protected.

研究动机与目标

• 探究 SIFT 特征在多大程度上会因支持图像重建而泄露隐私。
• 开发一种深度生成模型，能够从 SIFT 特征中重建潜在图像，即使在部分特征暴露的情况下亦可实现。
• 分别评估 SIFT 描述子与坐标在不受信任环境下的隐私影响。
• 证明尽管 SIFT 坐标是稀疏的，但仍携带显著的结构信息，足以实现有意义的图像重建。
• 通过识别最敏感的组件，为实际应用中保护 SIFT 特征提供实用洞见。

提出的方法

• 提出一种名为 SIFT-LBP-Image（SLI）的端到端、粗到细的深度生成模型，用于从 SIFT 特征中重建图像。
• 采用两阶段架构：首先，通过 LBP 重建网络将 SIFT 描述子转换为 LBP 特征，以捕捉结构布局。
• 其次，通过图像重建网络在预测的 LBP 特征引导下生成像素级图像。
• 引入基于关键点和基于参考图像的方法，仅从描述子中估计 SIFT 坐标（当坐标缺失时）。
• 利用参考图像提升坐标估计的准确性，尤其适用于人脸等结构化图像。
• 采用感知损失和对抗性损失以增强重建结果的真实感与结构保真度。

实验结果

研究问题

• RQ1 在使用深度生成建模的情况下，能否从完整的 SIFT 特征（描述子与坐标）中重建出潜在图像？
• RQ2 当仅有 SIFT 描述子而无其坐标时，能否实现有意义的图像重建？
• RQ3 仅凭 SIFT 坐标（表示为稀疏二值图）能否实现高质量的图像重建？
• RQ4 不同图像类别（如人脸与自然场景）的重建性能有何差异？
• RQ5 在基于 SIFT 的系统中，描述子与坐标对隐私泄露的相对贡献如何？

主要发现

• 所提出的 SLI 模型在完整 SIFT 特征下的图像重建任务中达到了最先进的性能，在 CelebA-HQ 数据集上 PSNR 为 18.95，FID 为 22.6。
• 当仅有 SIFT 描述子时，基于关键点的方法（SLI-L）在 CelebA-HQ 上实现了 PSNR 13.70 和 FID 181.0，表明对结构化图像可实现有限但可检测的重建。
• 基于参考图像的方法（SLI-R）显著优于 SLI-L，在 CelebA-HQ 上实现了 PSNR 14.60 和 FID 148.4，PSNR 提升了 0.9 dB。
• 仅从 SIFT 坐标（作为二值图）重建时，在 CelebA-HQ 上实现了 PSNR 13.88 和 FID 122.4，优于仅描述子的方法，表明具有强大的结构恢复能力。
• 在通用数据集（如 MD-NYU 和 ImageNet）上，仅描述子与仅坐标重建的性能均较差，PSNR 低于 13，FID 高于 300，表明重建质量严重依赖于图像结构。
• 结果表明 SIFT 坐标是主要的隐私风险，因为其本身即可实现令人惊讶的高质量重建，尤其在人脸图像中，暗示保护坐标对防止隐私泄露至关重要。