[论文解读] NeuForm: Adaptive Overfitting for Neural Shape Editing

Connor Z. Lin, Niloy J. Mitra+3 more|arXiv (Cornell University)|Jul 18, 2022

3D Shape Modeling and Analysis被引用 8

一句话总结

NeuForm 提出了一种神经形状编辑框架，通过自适应地融合过拟合的单形状表征与可泛化的形状先验，实现高保真度、语义一致的编辑。通过基于局部几何可靠性动态加权两个模型的网络权重，它在完整区域保留了精细细节，同时在编辑或缺失区域实现了合理的泛化，优于当前最先进方法在重建、编辑和形状混合任务中的表现。

ABSTRACT

Neural representations are popular for representing shapes, as they can be learned form sensor data and used for data cleanup, model completion, shape editing, and shape synthesis. Current neural representations can be categorized as either overfitting to a single object instance, or representing a collection of objects. However, neither allows accurate editing of neural scene representations: on the one hand, methods that overfit objects achieve highly accurate reconstructions, but do not generalize to unseen object configurations and thus cannot support editing; on the other hand, methods that represent a family of objects with variations do generalize but produce only approximate reconstructions. We propose NEUFORM to combine the advantages of both overfitted and generalizable representations by adaptively using the one most appropriate for each shape region: the overfitted representation where reliable data is available, and the generalizable representation everywhere else. We achieve this with a carefully designed architecture and an approach that blends the network weights of the two representations, avoiding seams and other artifacts. We demonstrate edits that successfully reconfigure parts of human-designed shapes, such as chairs, tables, and lamps, while preserving semantic integrity and the accuracy of an overfitted shape representation. We compare with two state-of-the-art competitors and demonstrate clear improvements in terms of plausibility and fidelity of the resultant edits.

研究动机与目标

• 为解决神经形状表征在编辑中高保真度重建与泛化之间的权衡问题。
• 实现语义感知、无伪影的形状编辑，保留精细几何细节的同时生成合理的新型配置。
• 以无缝、无伪影的方式结合过拟合模型（细节准确性）与可泛化模型（对未见配置的泛化能力）的优势。
• 设计一种神经架构，实现两种不同神经表征的动态、空间自适应融合，避免接缝或不连续性。

提出的方法

• NeuForm 采用混合架构，通用形状网络与过拟合形状网络共享相同的网络结构和训练历史。
• 它引入了一个可学习的融合场，根据局部几何置信度和数据可用性，自适应地组合两个网络的输出。
• 融合通过插值网络权重而非输出实现，确保平滑过渡并避免不连续性。
• 在训练过程中对过拟合网络进行剪枝，以限制其感受野仅限于局部形状部件，从而实现局部细节捕捉。
• 通用网络全局运行，为新配置或缺失区域提供合理的几何结构。
• 模型采用端到端训练，损失函数结合了重建、形状一致性与细节保留目标。

实验结果

研究问题

• RQ1 能否设计一种神经形状表征，使其在完整区域保留精细几何细节，同时在编辑或缺失区域实现合理泛化？
• RQ2 如何无缝融合过拟合与可泛化的神经形状表征，以避免接缝或空隙等伪影？
• RQ3 自适应混合两种不同神经表征是否能超越纯过拟合或纯可泛化模型，在形状编辑中实现更优性能？
• RQ4 所提出的融合机制在基于部件的编辑与形状混合过程中，能在多大程度上保持语义完整性与表面细节？

主要发现

• NeuForm 在形状编辑中表现卓越，相比纯过拟合或可泛化模型，显著减少了伪影，尤其在关节区域和新部件配置附近。
• 在重建任务中，NeuForm 超过过拟合与可泛化基线模型，在非关节区域实现更高保真度，且在关节几何方面优于可泛化模型。
• 在形状混合任务中，NeuForm 生成了更平滑、更连贯的部件连接，避免了 Spaghetti 和 Coalesce 中出现的几何畸变。
• 定量评估表明，NeuForm 在合理性与保真度之间实现了最佳平衡，其重建误差更低，感知质量更高，优于当前最先进方法如 Spaghetti 和 Coalesce。
• 该方法成功在过拟合区域保留了表面细节，同时在泛化区域生成了合理且一致的几何结构，即使在编辑复杂形状（如椅子、桌子和台灯）时亦表现良好。