[论文解读] WIRE: Wavelet Implicit Neural Representations

Vishwanath Saragadam, Daniel LeJeune+4 more|arXiv (Cornell University)|Jan 5, 2023

Image and Signal Denoising Methods被引用 7

一句话总结

WIRE 提出了一种新型隐式神经表示，采用连续复数高斯小波激活函数，结合了正弦函数的频谱紧凑性与高斯非线性的空间紧凑性。该设计在图像重建、超分辨率和神经辐射场等多样化视觉任务中，实现了最先进的精度、训练速度与鲁棒性表现，即使在数据有限或存在噪声的情况下亦然。

ABSTRACT

Implicit neural representations (INRs) have recently advanced numerous vision-related areas. INR performance depends strongly on the choice of the nonlinear activation function employed in its multilayer perceptron (MLP) network. A wide range of nonlinearities have been explored, but, unfortunately, current INRs designed to have high accuracy also suffer from poor robustness (to signal noise, parameter variation, etc.). Inspired by harmonic analysis, we develop a new, highly accurate and robust INR that does not exhibit this tradeoff. Wavelet Implicit neural REpresentation (WIRE) uses a continuous complex Gabor wavelet activation function that is well-known to be optimally concentrated in space-frequency and to have excellent biases for representing images. A wide range of experiments (image denoising, image inpainting, super-resolution, computed tomography reconstruction, image overfitting, and novel view synthesis with neural radiance fields) demonstrate that WIRE defines the new state of the art in INR accuracy, training time, and robustness.

研究动机与目标

• 为解决现有隐式神经表示（INRs）中精度与鲁棒性之间的权衡问题。
• 提升 INR 在图像去噪、图像修复、超分辨率及计算机断层扫描（CT）重建等反问题中的性能。
• 实现 INR 的更快、更准确训练，尤其在数据有限或含噪声的情况下。
• 开发具备强归纳偏置的 INR，以有效建模高频与边缘丰富的信号特征。
• 在训练视图更少的情况下，实现神经辐射场（NeRF）中更高质量的新视角合成。

提出的方法

• 在 INR 的 MLP 中提出使用连续复数高斯小波作为激活函数，利用其在时频域中的最优集中特性。
• 利用高斯小波在时间域与频率域的双重局部化特性，提升图像与信号的表示能力。
• 采用复数激活函数，以捕捉相位与振幅信息，增强模型表达能力。
• 通过将网络宽度减少 √2（例如 182 → 128）来调整网络结构，以补偿复数权重导致的参数加倍。
• 使用标准优化方法进行 INR 训练，配合学习率调度策略，避免使用位置编码以隔离非线性激活的影响。
• 在多种任务上评估性能：图像去噪、超分辨率、CT 重建、NeRF 与过拟合问题，采用 PSNR、SSIM 与视觉保真度作为评价指标。

Figure 1 : Wavelet implicit neural representation (WIRE). We propose a new nonlinearity for implicit neural representations (INRs) based on the continuous complex Gabor wavelet that has high representation capacity for visual signals. The top row visualizes two commonly used nonlinearities: SIREN wi

实验结果

研究问题

• RQ1 基于小波的激活函数是否能在 INRs 中实现比 SIREN 或 ReLU 等现有非线性激活函数更高的精度与鲁棒性？
• RQ2 高斯小波激活函数在少投影数条件下的 CT 重建等病态反问题中，性能提升程度如何？
• RQ3 WIRE 在图像重建任务中，对振铃效应或模糊化等伪影的抑制程度如何？
• RQ4 与基线方法相比，WIRE 是否能在更少训练图像下实现高保真度的新视角合成？
• RQ5 基于高斯小波的 INR 是否在包括高频与边缘丰富的信号在内的多种信号类型上展现出更优的泛化能力？

主要发现

• 在 CT 重建任务中，WIRE 达到最高 PSNR，即使仅使用 16 次投影，也优于所有其他非线性激活函数。
• 在多图像超分辨率任务中，WIRE 相较于 SIREN 实现 1dB 或以上的性能提升，SSIM 提高 0.04，且特征重建更清晰。
• 在 drums 数据集的 NeRF 任务中，WIRE 在使用 25、50 和 75 张训练图像时，PSNR 比 SIREN 高 0.1dB；在使用 100 张图像时，PSNR 高出 0.4dB。
• 即使仅使用 25 张训练图像，WIRE 也能在 2500 个训练周期内更快收敛并达到更高精度，而 ReLU+PE 需要全部 100 张图像且训练时间更长。
• 视觉结果表明，WIRE 生成的重建结果最准确且无伪影，尤其在高频区域有效避免了 SIREN 的振铃效应与高斯激活的模糊化现象。
• WIRE 展现出对噪声与欠采样更强的鲁棒性，使其在真实世界中数据有限或退化严重的反问题中更具实用性。

(a) Implicit bias with NTK gradient flow