[论文解读] Overfit Neural Networks as a Compact Shape Representation.

Thomas Davies, Derek Nowrouzezahrai+1 more|arXiv (Cornell University)|Sep 17, 2020

3D Shape Modeling and Analysis被引用 21

一句话总结

本文提出神经隐式表示（Neural Implicits）——一种过拟合神经网络，将3D形状表示为紧凑且高精度的有符号距离场（SDF）。通过采用新颖的损失函数、采样策略和监督协议，该方法在相同存储成本下实现了优于三角网格的精度，展现出作为计算机图形学中第一流隐式形状表示的强大潜力。

ABSTRACT

Neural networks have proven to be effective approximators of signed distance fields (SDFs) for solid 3D objects. While prior work has focused on the generalization power of such approximations, we instead explore their suitability as a compact - if purposefully overfit - SDF representation of individual shapes. Specifically, we ask whether neural networks can serve as first-class implicit shape representations in computer graphics. We call such overfit networks Neural Implicits. Similar to SDFs stored on a regular grid, Neural Implicits have fixed storage profiles and memory layout, but afford far greater accuracy. At equal storage cost, Neural Implicits consistently match or exceed the accuracy of irregularly-sampled triangle meshes. We achieve this with a combination of a novel loss function, sampling strategy and supervision protocol designed to facilitate robust shape overfitting. We demonstrate the flexibility of our representation on a variety of standard rendering and modelling tasks.

研究动机与目标

• 探究过拟合神经网络是否可作为单个3D形状的紧凑且高保真度表示。
• 解决现有神经SDF近似方法优先考虑泛化性而非特定形状精度的局限性。
• 开发一种结合基于网格的SDF固定内存布局与神经网络优越精度的表示方法。
• 通过量身定制的训练协议、损失函数和采样策略，实现鲁棒的形状过拟合。
• 评估所提表示在标准渲染和建模任务中的灵活性与性能。

提出的方法

• 提出一种专为鼓励对单个目标形状过拟合而设计的新损失函数，最大限度减少与真实SDF的偏差。
• 采用一种专注于高几何复杂度或高误差区域的特殊采样策略，提升学习效率与精度。
• 引入一种监督协议，在采样点处强制执行精确的SDF监督，确保距离场近似的准确性。
• 训练全连接神经网络以在查询点预测有符号距离，使用反向传播最小化所提出的损失。
• 保持与常规SDF网格相同的固定存储配置和内存布局，实现高效的内存访问并支持图形管线集成。
• 优化网络以在不泛化至其他形状的前提下，对单个形状实现高精度，将过拟合视为优势而非缺陷。

实验结果

研究问题

• RQ1 过拟合神经网络能否作为单个3D形状的紧凑且高精度隐式表示？
• RQ2 在相同存储成本下，过拟合神经网络与非均匀采样的三角网格相比，其精度如何？
• RQ3 哪些训练组件——损失函数、采样、监督——对实现鲁棒形状过拟合至关重要？
• RQ4 Neural Implicits能否在标准渲染和建模工作流中有效使用？
• RQ5 Neural Implicits的固定内存布局是否能实现与现有图形系统高效集成？

主要发现

• 在相同存储成本下，Neural Implicits在表示3D形状时始终与或优于非均匀采样的三角网格的精度。
• 所提出的损失函数与监督协议实现了鲁棒的过拟合，显著降低了目标形状上的SDF预测误差。
• 该方法保持了与基于网格的SDF相似的固定存储配置与内存布局，支持高效的内存访问与系统集成。
• Neural Implicits在保持隐式表示的紧凑性与规则性的同时，精度高于三角网格。
• 该表示在多种标准渲染与建模任务中展现出灵活性与有效性。
• 结果证实，当得到适当控制时，过拟合可被利用为优势，以创建高度精确、形状特定的隐式表示。