[论文解读] Polynomial Neural Fields for Subband Decomposition and Manipulation

Guandao Yang, Sagie Benaim+6 more|arXiv (Cornell University)|Feb 9, 2023

Model Reduction and Neural Networks参考文献 70被引用 8

一句话总结

本文提出多项式神经场（PNFs），一种神经场框架，能够进行可解释的子带分解与操作，包括将输出局部化到特定频率带、具有可控上/下限的傅里叶PNFs，在实现最先进结果的同时支持纹理传递与尺度空间任务。

ABSTRACT

Neural fields have emerged as a new paradigm for representing signals, thanks to their ability to do it compactly while being easy to optimize. In most applications, however, neural fields are treated like black boxes, which precludes many signal manipulation tasks. In this paper, we propose a new class of neural fields called polynomial neural fields (PNFs). The key advantage of a PNF is that it can represent a signal as a composition of a number of manipulable and interpretable components without losing the merits of neural fields representation. We develop a general theoretical framework to analyze and design PNFs. We use this framework to design Fourier PNFs, which match state-of-the-art performance in signal representation tasks that use neural fields. In addition, we empirically demonstrate that Fourier PNFs enable signal manipulation applications such as texture transfer and scale-space interpolation. Code is available at https://github.com/stevenygd/PNF.

研究动机与目标

• 通过子带分解使神经场具备可解释性与可控性并提供动机与设计思路。
• 为PNF建立理论框架并识别能实现子带操作的基底（如傅里叶基底）。
• 创建将输出局部化到指定频率子带且具备方向控制的傅里叶PNFs。
• 证明傅里叶PNFs在图像、三维SDF以及辐射场的信号表示性能达到竞争性或更优。
• 展示使用PNF子带进行纹理传递与尺度空间插值等下游操作的可行性。

提出的方法

• 将多变量多项式与基于输入编码gamma（基底B）的组合定义为多项式神经场（PNF）。
• 证明若基底在乘法下闭合，则PNF输出是基函数的有限线性组合。
• 引入PNF可控子带集合，以在PNF相加与相乘时实现可预测的交互。
• 通过在傅里叶空间展开可控子带，专门化为傅里叶PNFs，并推导聚合子带受限PNF的网络结构。
• 提出一个集成傅里叶PNF的结构，其中每个子带受限PNF对最终输出做出贡献，并通过分解降低参数爆炸。
• 给出面向2D信号的实用瓷砖 tiling 策略（圆/矩形）并讨论基于方向的子带。
• 展示训练/设置，并在图像、3D SDF和NeRF风格任务上与BACON、SIREN以及随机傅里叶特征进行对比。

Figure 3: Illustration of Fourier PNF architecture. Fourier PNF is an ensemble model. The final result is summed over a series of PNFs $F_{j}$ , whose structure is shown on the left side of the figure.

实验结果

研究问题

• RQ1 PNFs是否能够在不牺牲表达能力的前提下提供基于子带的可解释控制神经场输出？
• RQ2 如何在PNFs中设计并操作频域子带，以实现精确的纹理和尺度空间操作？
• RQ3 傅里叶PNFs在提供更细粒度的子带控制的同时，是否达到或超过现有方法（如BACON）的最先进或有竞争力的性能？
• RQ4 子带分解的PNFs是否能有效支持纹理传递和尺度空间插值等下游任务？
• RQ5 在强制实现 PNFs 的子带可控性时，实际的权衡（如内存）有哪些？

主要发现

• 傅里叶PNFs在图像、三维形状和辐射场的信号表示方面达到或超过最先进水平。
• PNFs能够在频域实现细粒度的子带定位，输出受下/上频带限以及方向的约束。
• 一个包含子带受限分量的集成傅里叶PNF架构能够实现有效的子带分解与操作。
• PNFs通过针对特定频带在纹理传递和尺度空间插值等方面展现能力。
• 在某些任务（如三维SDF拟合）上，PNFs在迭代次数方面更快收敛，并且由于优化步骤较少，可能具有与墙钟时间相竞争的表现。
• 相较于BACON和SIREN，PNFs在参数量相近的情况下提供可比或更高质量的表现。

Figure 5: LHS: Convergence time in terms of number of steps/iterations for the Thai Statue model [ 64 ] . The x-axis shows the number of steps (K) and the y-axis shows the validation Chamfer Distance ( $\times 10^{6}$ ). RHS: Qualitative comparison for the Thai Statue model [ 64 ] .