[论文解读] NeuMIP: Multi-Resolution Neural Materials

Alexandr Kuznetsov, Krishna Mullia+3 more|arXiv (Cornell University)|Apr 6, 2021

Computer Graphics and Visualization Techniques参考文献 18被引用 12

一句话总结

NeuMIP 提出了一种神经多分辨率材质表示方法，通过使用神经纹理金字塔和可学习的偏移模块，将传统 mipmap 技术推广至更复杂的材质表现，实现了无需细分的高保真渲染，能够准确呈现纤维、视差和自阴影等复杂材质特性。该方法在极低存储和训练时间（单张 GPU 上约 45 分钟）下实现高保真结果，优于以往技术在处理非线性反射率和几何复杂性方面的表现。

ABSTRACT

We propose NeuMIP, a neural method for representing and rendering a variety of material appearances at different scales. Classical prefiltering (mipmapping) methods work well on simple material properties such as diffuse color, but fail to generalize to normals, self-shadowing, fibers or more complex microstructures and reflectances. In this work, we generalize traditional mipmap pyramids to pyramids of neural textures, combined with a fully connected network. We also introduce neural offsets, a novel method which allows rendering materials with intricate parallax effects without any tessellation. This generalizes classical parallax mapping, but is trained without supervision by any explicit heightfield. Neural materials within our system support a 7-dimensional query, including position, incoming and outgoing direction, and the desired filter kernel size. The materials have small storage (on the order of standard mipmapping except with more texture channels), and can be integrated within common Monte-Carlo path tracing systems. We demonstrate our method on a variety of materials, resulting in complex appearance across levels of detail, with accurate parallax, self-shadowing, and other effects.

研究动机与目标

• 为解决传统 mipmap 技术在处理法线、纤维和自阴影等复杂材质属性方面的局限性。
• 将传统 mipmap 金字塔推广为支持多尺度、连续双向纹理函数（MBTF）的神经纹理金字塔。
• 在无需显式细分或高度场几何结构的情况下，实现对复杂几何特征（如位移、视差）的精确渲染。
• 开发一种通过无监督方式训练的神经偏移模块，通过学习的纹理坐标调整来模拟视差效果。
• 构建一种紧凑且可泛化的神经材质表示，兼容标准蒙特卡洛路径追踪器。

提出的方法

• 该方法使用多分辨率神经纹理金字塔，其中每一层存储不同尺度下材质细节的特征向量。
• 通过一个全连接神经网络，对三线性插值后的特征向量以及入射和出射光方向进行解码，生成反射率值。
• 提出一种新型神经偏移模块，可基于观察方向学习调整纹理查询位置，从而在无需细分的情况下实现视差效果。
• 该架构支持 7D 输入：位置（2D）、入射方向（2D）、出射方向（2D）和滤波核大小（1D），实现尺度感知渲染。
• 通过在不同分辨率下随机采样反射率查询（每纹理元素 200–400 个），在无高度场或显式几何结构监督下进行训练。
• 系统已集成至标准蒙特卡洛路径追踪器中，支持跨多级细节的无缝渲染。

实验结果

研究问题

• RQ1 神经表示能否将传统 mipmap 技术推广至处理复杂非线性材质属性（如自阴影和纤维结构）？
• RQ2 可学习的偏移机制能否在无显式几何结构或高度场监督的情况下模拟视差效果？
• RQ3 统一的神经架构能否以极低存储和训练开销，在多尺度下表示多样化材质？
• RQ4 在每纹理元素仅使用少量随机查询（如 200–400 个）的情况下，神经纹理金字塔在不同光照和视角条件下能否保持高保真外观？
• RQ5 该方法能否在不引入传统 mipmap 技术常见伪影的前提下，实现复杂微结构的精确预过滤？

主要发现

• NeuMIP 在多级细节下实现了对织物、针织品及纤维基结构等复杂材质的高保真渲染，准确呈现视差和自阴影效果。
• 神经偏移模块在无需细分的情况下实现了逼真的视差效果，其外观与路径追踪参考图像中完整的几何位移效果一致。
• 该方法在单张 GPU 上仅需约 45 分钟训练时间即可完成 512² 分辨率材质的训练，远快于显式 BTF 获取或高分辨率几何生成。
• 存储需求与标准 mipmap 相当（每纹理元素 7 个通道而非 3 个），可高效集成至现有渲染管线。
• 结果展示了多级细节之间的平滑过渡，伪影极少，且在不同光照和相机角度下保持了出色的视觉一致性。
• 该方法具有良好的泛化能力，适用于多种材质类型，支持合成数据与真实世界数据，包括基于纤维几何和实测反射率的材质。