[论文解读] NeuralVDB: High-resolution Sparse Volume Representation using Hierarchical Neural Networks

Doyub Kim, Minjae Lee+1 more|arXiv (Cornell University)|Aug 8, 2022

AI in cancer detection被引用 8

一句话总结

NeuralVDB 提出了一种混合数据结构，用分层神经网络替代 VDB 树的最底层，以压缩稀疏体素数据，在保持空间自适应性和用户可控压缩误差的同时，实现高达 100× 的内存减少。该方法在符号距离场和密度体素的压缩效率与重建质量方面，优于现有的神经表示方法。

ABSTRACT

We introduce NeuralVDB, which improves on an existing industry standard for efficient storage of sparse volumetric data, denoted VDB [Museth 2013], by leveraging recent advancements in machine learning. Our novel hybrid data structure can reduce the memory footprints of VDB volumes by orders of magnitude, while maintaining its flexibility and only incurring small (user-controlled) compression errors. Specifically, NeuralVDB replaces the lower nodes of a shallow and wide VDB tree structure with multiple hierarchical neural networks that separately encode topology and value information by means of neural classifiers and regressors respectively. This approach is proven to maximize the compression ratio while maintaining the spatial adaptivity offered by the higher-level VDB data structure. For sparse signed distance fields and density volumes, we have observed compression ratios on the order of 10x to more than 100x from already compressed VDB inputs, with little to no visual artifacts. Furthermore, NeuralVDB is shown to offer more effective compression performance compared to other neural representations such as Neural Geometric Level of Detail [Takikawa et al. 2021], Variable Bitrate Neural Fields [Takikawa et al. 2022a], and Instant Neural Graphics Primitives [Müller et al. 2022]. Finally, we demonstrate how warm-starting from previous frames can accelerate training, i.e., compression, of animated volumes as well as improve temporal coherency of model inference, i.e., decompression.

研究动机与目标

• 解决计算机图形学、科学可视化和仿真等应用中稀疏体素数据高内存占用的问题。
• 探究神经网络是否能在不牺牲空间自适应性的前提下，提升 VDB 稀疏体素表示的压缩性能。
• 开发一种混合系统，结合 VDB 树结构的高效性与神经网络的高密度压缩能力。
• 评估静态与动画体素中压缩比、重建质量与随机访问性能之间的权衡。
• 通过预热启动与时间相干性，实现动画体素序列的高效离线存储与加速推理。

提出的方法

• 用独立的神经网络替换 VDB 树的最低两层（节点与瓦片）：一个用于拓扑分类，一个用于体素值回归。
• 采用分层神经网络架构，每一层编码更精细的空间特征，实现多分辨率压缩。
• 通过神经分类器编码拓扑信息，预测低层级体素的存在/缺失状态，从而减少位图存储。
• 通过在稀疏输入坐标及其对应值上训练的神经回归器，编码体素值（如 SDF、密度）。
• 将神经组件集成到修改后的 VDB 框架中，保留原始树结构的快速自底向上遍历与随机访问模式。
• 应用用户可控的压缩误差阈值，平衡保真度与内存占用，实现有损但感知可接受的表示。

实验结果

研究问题

• RQ1 神经网络能否在保持空间自适应性的前提下，有效压缩 VDB 结构中稀疏体素数据的拓扑与值信息？
• RQ2 与 INGP、NGLOD 和 VBNF 等最先进的神经场景表示相比，NeuralVDB 在内存占用与重建质量方面的压缩性能如何？
• RQ3 从先前帧预热启动在动画体素压缩中能在多大程度上提升训练速度与时间相干性？
• RQ4 与标准 VDB 和 NanoVDB 相比，NeuralVDB 在内存减少、随机访问性能与编码/解码延迟之间的权衡如何？
• RQ5 NeuralVDB 在密集体素数据（如云层）与稀疏表示（如窄带水平集）上的表现如何？

主要发现

• 在使用 16 位量化与 Blosc 压缩的情况下，NeuralVDB 将 Disney Cloud 数据集的文件大小从 1.5GB 压缩至 25MB，实现 60× 的压缩比。
• 对于高分辨率的水体动画模拟，NeuralVDB 将总文件大小从 OpenVDB 的 22.7GB 降低至 1.2GB，压缩比达 18×。
• 在某些稀疏符号距离场中，NeuralVDB 实现了高达 100× 的内存压缩，显著优于 NGLOD 与 VBNF 等其他神经表示方法。
• 由于用户可控的误差阈值，该方法在极端压缩比下仍保持高视觉保真度，伪影极少。
• 从先前帧预热启动显著缩短了训练时间，并提升了动画序列的时间相干性，减少了重建伪影。
• 尽管随机访问性能与 NanoVDB 的三阶插值相当，但仍慢于一阶采样，表明仍有优化空间。