[论文解读] On the Effectiveness of Weight-Encoded Neural Implicit 3D Shapes

Thomas Davies, Derek Nowrouzezahrai+1 more|arXiv (Cornell University)|Sep 17, 2020

3D Shape Modeling and Analysis参考文献 24被引用 41

一句话总结

本文主张将权重编码神经隐式表示作为第一类三维形状表示，展示它们能够实现高表面精度、鲁棒性和紧凑内存使用，优于潜在编码方法。它提出一个紧凑的 8 层网络、带有重要性采样的积分损失，并展示多边形网格的强压缩性和快速渲染。

ABSTRACT

A neural implicit outputs a number indicating whether the given query point in space is inside, outside, or on a surface. Many prior works have focused on _latent-encoded_ neural implicits, where a latent vector encoding of a specific shape is also fed as input. While affording latent-space interpolation, this comes at the cost of reconstruction accuracy for any _single_ shape. Training a specific network for each 3D shape, a _weight-encoded_ neural implicit may forgo the latent vector and focus reconstruction accuracy on the details of a single shape. While previously considered as an intermediary representation for 3D scanning tasks or as a toy-problem leading up to latent-encoding tasks, weight-encoded neural implicits have not yet been taken seriously as a 3D shape representation. In this paper, we establish that weight-encoded neural implicits meet the criteria of a first-class 3D shape representation. We introduce a suite of technical contributions to improve reconstruction accuracy, convergence, and robustness when learning the signed distance field induced by a polygonal mesh -- the _de facto_ standard representation. Viewed as a lossy compression, our conversion outperforms standard techniques from geometry processing. Compared to previous latent- and weight-encoded neural implicits we demonstrate superior robustness, scalability, and performance.

研究动机与目标

• 证明权重编码神经隐式表示可以作为第一类三维形状表示。
• 开发一种体系结构和训练方案，将网格转换为高精度的权重编码神经隐式表示。
• 展示相对于传统网格和基于网格的 SDF 表示的压缩和速度优势。
• 在真实世界数据集（如 Thingi10k）上评估鲁棒性和可扩展性。

提出的方法

• 使用一个具有 8 层、隐藏尺寸为 32 的前馈网络将单个形状编码为权重编码隐式表示（无潜在向量）。
• 回归符号距离场（SDF）到网格表面，而不是占据率，以实现直接的图形学用途。
• 将损失定义为空间的积分，带有指数加权 w(x)=exp(-β|gS(x)|)，以在近表面实现采样而不需要人为设置的点采样偏置。
• 通过从与 w 成比例的分布中抽取样本来应用重要性采样，以逼近积分损失。
• 使用球面追踪进行渲染，采用简单高效的基于 CUDA 的管线和动态批处理以提高收敛时间。
• 通过使用鲁棒的 Inside 测试（广义绕数）以及在需要时处理非符号距离，展示对“野外”网格的鲁棒性。

实验结果

研究问题

• RQ1 权重编码神经隐式表示在没有潜在编码的情况下，是否能够真实地将单一样本的三维形状表示为第一类表示？
• RQ2 在精度、鲁棒性和内存使用方面，权重编码表示与潜在编码和基于网格的 SDF 表示相比如何？
• RQ3 哪些架构与训练策略能实现对大型真实世界网格数据集的鲁棒重构和可扩展处理？
• RQ4 将大型网格数据集（例如 Thingi10k）转换为权重编码隐式表示，在合理的时间和存储预算内是否可行？
• RQ5 在图形管线中，权重编码隐式表示的实际渲染与操作优势（如 CSG）有哪些？

主要发现

• 权重编码的神经隐式表示可以在不使用潜在向量的情况下编码单个形状，参数化为 θ，产生一个三维表面作为 fθ 的零集。
• 一个 8 层、32 个神经元的网络（7553 个权重；约 59 kB）在重建精度、渲染速度和内存使用之间取得了有利平衡。
• 所提出的带有重要性采样的积分损失在收敛性和表面精度上优于早期的采样方案（例如，与 Park 等 2019 年在 Thingi10k 上相比，表面误差改善约 5%）。
• 该方法将 Thingi10k 数据集从 38.85 GB 压缩到 590 MB（1:66 的压缩比）；DeepSDF 将压缩到 7 MB 但在真实世界、无约束数据上的质量较低。
• 在 P100 上以 512×512 渲染单个隐式表示，使用球面追踪和基于 CUDA 的可视化，帧率约为 34 Hz。
• 权重编码隐式表示在相同内存预算下相比均匀网格或简化网格显示更好的表面细节保真度和更平滑的重建；它们还支持高效的 SIMD 评估和并行渲染。