[论文解读] Neural Star Domain as Primitive Representation

Yuki Kawana, Yusuke Mukuta+1 more|arXiv (Cornell University)|Oct 21, 2020

3D Shape Modeling and Analysis被引用 3

一句话总结

本文提出神经星形域（NSD），一种新颖的原始表示方法，统一了星形域中的隐式与显式形状建模，实现了3D形状的简洁、语义化且可微分的重建。NSD在3D重建、语义推理以及高分辨率网格采样方面均优于现有方法。

ABSTRACT

Reconstructing 3D objects from 2D images is a fundamental task in computer vision. Accurate structured reconstruction by parsimonious and semantic primitive representation further broadens its application. When reconstructing a target shape with multiple primitives, it is preferable that one can instantly access the union of basic properties of the shape such as collective volume and surface, treating the primitives as if they are one single shape. This becomes possible by primitive representation with unified implicit and explicit representations. However, primitive representations in current approaches do not satisfy all of the above requirements at the same time. To solve this problem, we propose a novel primitive representation named neural star domain (NSD) that learns primitive shapes in the star domain. We show that NSD is a universal approximator of the star domain and is not only parsimonious and semantic but also an implicit and explicit shape representation. We demonstrate that our approach outperforms existing methods in image reconstruction tasks, semantic capabilities, and speed and quality of sampling high-resolution meshes.

研究动机与目标

• 为解决缺乏一种既简洁又具有语义性、同时支持体积和表面积等集体几何属性的统一原始表示的问题。
• 通过单一统一的形状表示，实现从2D图像出发的高效且精确的3D重建。
• 开发一种同时支持隐式与显式形状建模的表示方法，实现快速且高质量的网格采样。

提出的方法

• 该方法使用神经网络对星形域进行参数化，其中每个点由相对于中心点的径向距离定义。
• 神经网络学习星形域中的径向函数，通过连续且可微分的函数实现复杂形状的隐式表示。
• 通过采样径向函数的零水平集，该表示支持显式网格提取，从而实现高分辨率网格生成。
• 该方法确保集体几何属性（如体积、表面积）可直接从神经参数化中计算得出。
• 利用神经网络的通用逼近特性，以高保真度建模任意星形形状。
• 该框架在2D图像监督下端到端训练，支持从单视角或多视角图像进行重建。

实验结果

研究问题

• RQ1 单一原始表示能否在保持简洁性和语义性的同时，统一隐式与显式形状建模？
• RQ2 星形域中的神经表示在几何精度方面，能否高保真地逼近复杂的3D形状？
• RQ3 所提出的表示能否高效计算体积、表面积等集体几何属性？
• RQ4 该方法在重建质量与采样速度方面是否优于现有的基于原始表示的重建方法？
• RQ5 该方法能否从2D监督泛化至高分辨率网格生成？

主要发现

• NSD在从2D图像进行3D重建方面达到最先进性能，在定性和定量指标上均优于现有方法。
• 该方法可直接从神经参数化中精确计算体积、表面积等集体几何属性。
• NSD在高分辨率网格采样方面，相比基线方法展现出更优的质量与速度。
• 星形域中的神经表示作为星形形状的通用逼近器，展现出强大的泛化能力。
• 该框架支持从2D图像输入的可微分、端到端训练，实现高保真度的3D重建。