[论文解读] Privacy Protection in Street-View Panoramas using Depth and Multi-View Imagery

Ries Uittenbogaard, Clint Sebastian+4 more|arXiv (Cornell University)|Mar 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 50被引用 54

一句话总结

该论文提出一个框架，利用多视图信息自动从街景全景中移除移动对象并进行背景修复，作为模糊处理的替代方案。它将深度一致性移动对象分割与多视图在场景修复GAN相结合，并在一个包含1000张图像的数据集上进行评估。

ABSTRACT

The current paradigm in privacy protection in street-view images is to detect and blur sensitive information. In this paper, we propose a framework that is an alternative to blurring, which automatically removes and inpaints moving objects (e.g. pedestrians, vehicles) in street-view imagery. We propose a novel moving object segmentation algorithm exploiting consistencies in depth across multiple street-view images that are later combined with the results of a segmentation network. The detected moving objects are removed and inpainted with information from other views, to obtain a realistic output image such that the moving object is not visible anymore. We evaluate our results on a dataset of 1000 images to obtain a peak noise-to-signal ratio (PSNR) and L1 loss of 27.2 dB and 2.5%, respectively. To ensure the subjective quality, To assess overall quality, we also report the results of a survey conducted on 35 professionals, asked to visually inspect the images whether object removal and inpainting had taken place. The inpainting dataset will be made publicly available for scientific benchmarking purposes at https://research.cyclomedia.com

研究动机与目标

• 通过在街景影像中移除移动对象并修复背景，推动隐私保护超越模糊化。
• 开发利用跨多视图深度一致性的移动对象分割方法。
• 设计一个多视图在场景补全GAN，利用来自其他视图的信息生成真实的补全。
• 使用量化评估（PSNR、L1损失）和通过专家调查的定性评估来评估方法。
• 提供一个开放的在场景补全数据集用于基准测试。

提出的方法

• 将基于 FC-VGGNet 的移动对象分割与对附近帧的深度增强再投影结合，以检测移动区域。
• 通过将当前图像与重新投影的邻近视图之间的高层特征进行比较，计算移动对象分数；利用掩膜分数的阈值来分类移动对象。
• 检测出的移动区域进行移除，并使用一个多视图GAN进行修复，输入包括孔洞填充后的图像、移动对象掩模，以及来自其他视图的重新投影内容。
• 用粗糙的16通道输入（I_t, B_t^h, I_hat_t'→t）训练GAN，并使用两个判别器（全局和局部）配合改进的WGAN-GP目标函数以及一个带空间折扣的L1损失。
• 使用对 ground truth 的 PSNR、L1 损失以及专业调查来评估感知真实感和隐私保护。

实验结果

研究问题

• RQ1 仅用深度一致的多视图信息，街景全景中的移动对象能被可靠检测吗？
• RQ2 与单视图或基于上下文的修复相比，多视图修复是否能产生更真实且更隐私安全的完成结果？
• RQ3 使用多视图修复移除移动对象在量化上（PSNR、L1损失）和感知质量方面有何提升？
• RQ4 开放的在场景补全数据集是否足以用于基准多视图补全方法？

主要发现

• 在1000张测试集上的修复质量达到PSNR 27.2 dB、L1 损失 2.5% 。
• 移动对象分割在均值 IoU 约为 0.58-0.80，取决于配置，使用 FC-VGGNet 编码器特征（第4层块）提供了最佳移动对象辨别。
• 使用多视图引导的修复产生视觉上合理的结果；对35名专业人士的用户研究表明在某些情况下存在可检测的伪影，显示隐私保护的有效性与需监控的伪影之间的平衡。
• 所提出的方法在消除对象身份的同时减少模糊伪影，增强隐私并保持背景真实感，适用于商业应用。