[论文解读] Volumetric Disentanglement for 3D Scene Manipulation

Sagie Benaim, Frederik Warburg+2 more|arXiv (Cornell University)|Jun 6, 2022

Advanced Vision and Imaging被引用 4

一句话总结

本文提出了一种体素解缠框架，通过神经辐射场将3D场景中的前景物体与其背景分离，实现对颜色、深度和3D变换的独立操控。通过在2D掩码、视角和姿态上进行训练，该方法在保留光照、反射和遮挡效果的同时，实现了前景与背景体素的解缠，支持语义一致的3D操控，如物体伪装、图像修复和基于文本的编辑。

ABSTRACT

Recently, advances in differential volumetric rendering enabled significant breakthroughs in the photo-realistic and fine-detailed reconstruction of complex 3D scenes, which is key for many virtual reality applications. However, in the context of augmented reality, one may also wish to effect semantic manipulations or augmentations of objects within a scene. To this end, we propose a volumetric framework for (i) disentangling or separating, the volumetric representation of a given foreground object from the background, and (ii) semantically manipulating the foreground object, as well as the background. Our framework takes as input a set of 2D masks specifying the desired foreground object for training views, together with the associated 2D views and poses, and produces a foreground-background disentanglement that respects the surrounding illumination, reflections, and partial occlusions, which can be applied to both training and novel views. Our method enables the separate control of pixel color and depth as well as 3D similarity transformations of both the foreground and background objects. We subsequently demonstrate the applicability of our framework on a number of downstream manipulation tasks including object camouflage, non-negative 3D object inpainting, 3D object translation, 3D object inpainting, and 3D text-based object manipulation. Full results are given in our project webpage at https://sagiebenaim.github.io/volumetric-disentanglement/

研究动机与目标

• 通过将前景物体与其背景解缠，实现在增强现实中的语义3D场景操控。
• 在解缠过程中保留复杂的视觉效果，如光照、反射和部分遮挡。
• 实现对前景和背景物体在颜色、深度和3D变换方面的独立控制。
• 支持非负且保持深度的操控，以满足光学透视式增强现实的约束条件。
• 通过CLIP引导的优化实现基于文本的3D物体操控，保持语义一致性。

提出的方法

• 该方法在完整场景和仅背景上分别训练神经辐射场，使用2D训练视图、姿态和实例掩码。
• 通过体素减法计算前景体素：前景 = 完整场景 - 背景，以保持空间和辐射一致性。
• 使用独立的神经网络对每个组件的颜色和密度进行解缠。
• 通过可微渲染，对前景和背景体素分别独立应用3D变换（平移、旋转、缩放）。
• 基于文本的操控利用CLIP嵌入引导前景物体形状与外观的优化，同时保持背景语义的一致性。
• 该框架支持新视角渲染，并通过可微体素渲染和隐式场景表示保持跨视角的一致性。

Figure 1 : Volumetric disentanglement framework. We introduce a framework for the volumetric disentanglement of foreground objects as well as the background from a full scene (1). Our volumetric disentanglement can then be used for many downstream tasks of interest to designers and artists in AR app

实验结果

研究问题

• RQ1 在可微的、基于神经辐射场的框架中，是否能够实现体素解缠，同时保留如反射和遮挡等复杂视觉效果？
• RQ2 在颜色、深度和姿态方面，前景和背景物体在3D空间中的独立操控程度如何？
• RQ3 该方法在光学透视式约束下，对非负3D图像修复和物体伪装的泛化能力如何？
• RQ4 是否能够以高保真度和跨视角一致性实现基于文本的3D物体语义操控？
• RQ5 该方法对噪声较大或由现成分割模型生成的2D掩码的鲁棒性如何？

主要发现

• 该方法成功实现了前景与背景体素的解缠，同时在训练视图和新视角中均保留了光照、反射和部分遮挡效果。
• 该框架实现了高视觉保真度的一致性3D操控，如物体平移、伪装和非负图像修复。
• 用户研究表明，基于文本的操控（如“草莓”、“老树”）在多个视角中均保持语义一致且视觉上合理。
• 该方法能够处理来自现成分割模型的噪声2D掩码，表现出对不完美标注的鲁棒性。
• 消融实验表明，体素减法方法（完整场景 - 背景）优于直接训练前景场的方法，后者因优化约束不足而表现较差。
• 局限性包括光源解缠不完全，以及由于CLIP信号不足，对大型物体的操控仍具挑战。

Figure 2 : Overview of our disentanglement framework. First, we learn a volumetric representation of the background and full scene using neural radiance fields ( Sec. 3.1 ). Second, by subtracting the full and the background volumes, we obtain a disentangled foreground volume. Third, we can then per