[论文解读] SPAGHETTI: Editing Implicit Shapes Through Part Aware Generation

Amir Hertz, Or Perel+3 more|arXiv (Cornell University)|Jan 31, 2022

3D Shape Modeling and Analysis被引用 6

一句话总结

SPAGHETTI 提出了一种针对神经隐式形状的部件感知生成模型，通过解耦的部件潜在表征实现交互式、局部编辑。通过基于 Transformer 的架构将内在几何与外在空间嵌入分离，该方法支持无需部件监督的部件变换、混合与插值，实现了对未见形状的高保真编辑与形状重建。

ABSTRACT

Neural implicit fields are quickly emerging as an attractive representation for learning based techniques. However, adopting them for 3D shape modeling and editing is challenging. We introduce a method for $\mathbf{E}$diting $\mathbf{I}$mplicit $\mathbf{S}$hapes $\mathbf{T}$hrough $\mathbf{P}$art $\mathbf{A}$ware $\mathbf{G}$enera$\mathbf{T}$ion, permuted in short as SPAGHETTI. Our architecture allows for manipulation of implicit shapes by means of transforming, interpolating and combining shape segments together, without requiring explicit part supervision. SPAGHETTI disentangles shape part representation into extrinsic and intrinsic geometric information. This characteristic enables a generative framework with part-level control. The modeling capabilities of SPAGHETTI are demonstrated using an interactive graphical interface, where users can directly edit neural implicit shapes.

研究动机与目标

• 实现无需显式部件标注的神经隐式 3D 形状的交互式、局部编辑。
• 将形状部件表征解耦为内在几何与外在空间嵌入，以实现细粒度控制。
• 通过泛化至未见形状的潜在空间，支持部件级操作，如变换、替换与插值。
• 通过利用解耦的潜在代码结构，实现对新出现的、未见形状的形状重建。
• 提供由八叉树加速的交互式、实时编辑界面，以实现高效的渲染与用户交互。

提出的方法

• 该模型使用分解网络将形状的潜在码 zₐ 分解为特定部件的潜在码 Zᵦ，每个 Zᵦ 编码一个独立 3D 部件的几何与全局变换。
• 基于 Transformer 的混合网络处理 Zᵦ，生成编码部件关系与空间上下文的上下文嵌入 Z꜀。
• 占用网络通过作为 Transformer 解码器实现，通过关注 Z꜀ 来预测任意查询点的占用状态，从而生成最终的隐式形状。
• 通过直接修改部件外在参数（如旋转、平移）或从其他形状替换部件码，在潜在空间中执行编辑。
• 通过利用解耦的潜在空间，优化未见形状的部件码，实现超越训练数据分布的泛化。
• 系统使用八叉树加速结构，以实现实时渲染与图形用户界面中的交互式编辑。

实验结果

研究问题

• RQ1 神经隐式形状是否可以在无需显式部件监督的情况下实现部件级编辑？
• RQ2 如何在潜在表征中解耦内在与外在几何信息，以支持局部形变？
• RQ3 生成模型是否能够以连续且一致的方式支持来自不同形状的部件有意义的插值与混合？
• RQ4 通过潜在空间重建，该模型在多大程度上能泛化至未见形状？
• RQ5 解耦表征是否能够支持高质量、实时的交互式编辑？

主要发现

• SPAGHETTI 通过在解耦潜在空间中直接操作部件级潜在码，实现了对神经隐式形状的交互式、实时编辑。
• 通过将内在几何与外在空间嵌入解耦，该模型在不引发分布坍塌的情况下，实现了高质量的形状生成与编辑，支持局部仿射变换。
• 该方法支持不同部件数量的形状之间进行部件级插值，且无需部件对应关系，通过在 Transformer 解码器中插值注意力权重实现。
• 定量评估表明，混合形状的表面积接近输入部件（面积评估），且分割分布的 Jensen-Shannon 散度较低（分割评估），表明保真度高。
• 形状重建方法成功恢复了未见形状的部件码，从而实现了对训练分布外新几何形状的编辑。
• 局限性包括由于缺乏监督可能导致语义部件的过聚类或欠聚类，例如将单个椅子腿视为多个高斯分布，或将靠背拆分为多个部件。