[论文解读] OctField: Hierarchical Implicit Functions for 3D Modeling

Jia-Heng Tang, Weikai Chen+5 more|arXiv (Cornell University)|Nov 1, 2021

3D Shape Modeling and Analysis被引用 13

一句话总结

OctField 提出了一种基于自适应八叉树结构的可学习分层隐式函数表示方法，能够以较低的内存开销高效建模高保真度的3D表面。通过根据表面占据情况和几何复杂度递归地细分空间，并利用概率性、可微分的网络实现八叉树构建的反向传播，OctField 在相比先前方法计算开销更低的前提下，实现了更优的重建与编辑性能。

ABSTRACT

Recent advances in localized implicit functions have enabled neural implicit representation to be scalable to large scenes. However, the regular subdivision of 3D space employed by these approaches fails to take into account the sparsity of the surface occupancy and the varying granularities of geometric details. As a result, its memory footprint grows cubically with the input volume, leading to a prohibitive computational cost even at a moderately dense decomposition. In this work, we present a learnable hierarchical implicit representation for 3D surfaces, coded OctField, that allows high-precision encoding of intricate surfaces with low memory and computational budget. The key to our approach is an adaptive decomposition of 3D scenes that only distributes local implicit functions around the surface of interest. We achieve this goal by introducing a hierarchical octree structure to adaptively subdivide the 3D space according to the surface occupancy and the richness of part geometry. As octree is discrete and non-differentiable, we further propose a novel hierarchical network that models the subdivision of octree cells as a probabilistic process and recursively encodes and decodes both octree structure and surface geometry in a differentiable manner. We demonstrate the value of OctField for a range of shape modeling and reconstruction tasks, showing superiority over alternative approaches.

研究动机与目标

• 解决基于规则网格的隐式函数在大规模3D建模中内存与计算成本过高的问题。
• 根据局部几何复杂度与表面稀疏性，实现建模能力的自适应分配。
• 支持对不可微分的八叉树结构进行可微分学习，以实现端到端训练。
• 提升复杂3D形状（尤其是具有精细细节的形状）的重建精度与效率。
• 通过紧凑的分层表示，实现灵活的形状编辑与补全。

提出的方法

• OctField 使用分层八叉树自适应地细分3D空间，仅在靠近表面且几何细节丰富的区域分配局部隐式函数。
• 八叉树构建被建模为一个基于几何特征预测细分的分类器的随机过程，从而支持可微训练。
• 采用分层编码器-解码器网络，以可微方式递归地编码和解码八叉树结构与几何特征。
• 该方法使用3D CNN编码器将部分点云映射为潜在码，随后将其解码为完整的八叉树与表面几何结构。
• 每个八分体单元格关联一个局部隐式函数，从而在需要时实现细粒度建模，其他区域则采用粗粒度表示。
• 通过重新参数化局部潜在码，该框架支持形状编辑，实现不同几何形态之间的平滑过渡。

实验结果

研究问题

• RQ1 基于自适应八叉树细分的分层隐式表示能否提升3D形状的内存效率与建模精度？
• RQ2 如何将不可微分的八叉树结构整合进可微分的深度学习框架中，以支持3D几何学习？
• RQ3 基于几何复杂度的自适应分解在3D重建任务中，相较于规则网格分解，优势有多大？
• RQ4 所提方法能否在部分点云输入下实现鲁棒的形状补全，且产生的伪影更少？
• RQ5 分层结构能否实现灵活且连续的局部形状编辑，同时不破坏表面连续性？

主要发现

• OctField 在形状补全任务中实现了 4.4 × 10⁻⁴ 的 Chamfer Distance (CD)，优于 IF-Net (4.9 × 10⁻⁴) 和 O-CNN (12.1 × 10⁻⁴)，表明其具有更优的重建保真度。
• 该方法能够从部分输入生成完整的网格，而 O-CNN 仅输出密集点云，因此在下游应用中更具实用性。
• OctField 通过重新参数化局部潜在码，实现了平滑连续的局部形状编辑，避免了传统隐式场简单融合导致的不连续性。
• 自适应八叉树结构通过避免在空置区域分配隐式函数，并对平滑区域进行粗粒度细分，显著降低了内存使用。
• 通过概率性细分实现的可微八叉树构建，支持端到端训练，使整个流水线可学习且具备可扩展性。
• 实验表明，OctField 即使在更深的八叉树层级下仍能保持高精度，表明其对复杂几何结构具有强大的可扩展性。