[论文解读] SAPE: Spatially-Adaptive Progressive Encoding for Neural Optimization

Amir Hertz, Or Perel+3 more|arXiv (Cornell University)|Apr 19, 2021

3D Shape Modeling and Analysis参考文献 38被引用 23

一句话总结

SAPE 提出了一种空间自适应的渐进式编码方案，通过在神经优化过程中逐步揭示高频分量，使MLP能够无需手动调参即可学习复杂且高频的信号。通过根据局部空间反馈动态调整频率暴露，SAPE在图像、3D形状和占用网络中均提升了细节保真度与训练稳定性，其性能在质量和鲁棒性方面均优于固定频率的位置编码。

ABSTRACT

Multilayer-perceptrons (MLP) are known to struggle with learning functions of high-frequencies, and in particular cases with wide frequency bands. We present a spatially adaptive progressive encoding (SAPE) scheme for input signals of MLP networks, which enables them to better fit a wide range of frequencies without sacrificing training stability or requiring any domain specific preprocessing. SAPE gradually unmasks signal components with increasing frequencies as a function of time and space. The progressive exposure of frequencies is monitored by a feedback loop throughout the neural optimization process, allowing changes to propagate at different rates among local spatial portions of the signal space. We demonstrate the advantage of SAPE on a variety of domains and applications, including regression of low dimensional signals and images, representation learning of occupancy networks, and a geometric task of mesh transfer between 3D shapes.

研究动机与目标

• 为解决MLP在基于坐标的隐式表示中难以学习高频信号的挑战。
• 克服固定全局位置编码的局限性，后者需要手动调参，并在平滑区域与细节区域之间权衡。
• 实现自适应的空间可变频率渐进过程，以匹配局部信号的复杂度。
• 在需要精确初始化的任务（如3D网格迁移和轮廓形变）中，提升优化稳定性与收敛性。
• 开发一种对特定位置编码方案无感的方法，从而在视觉与图形任务中具备广泛适用性。

提出的方法

• SAPE 引入了一种基于反馈的、在时间和空间上双重控制的掩码机制，用于控制位置编码中频率分量的渐进解封。
• 该方法使用空间网格（例如128³个体素图）来追踪局部信号复杂度，并在训练过程中根据空间区域调整频率带宽。
• 频率渐进过程由基于损失的反馈回路控制，该回路监测重建误差，并调节每个空间位置的有效频率尺度。
• 该编码方式与任何位置编码方法（例如傅里叶特征）兼容，使SAPE具备编码无关性。
• 渐进式方案通过初始仅暴露低频分量，随训练进程逐步增加带宽，从而避免早期过拟合。
• 空间自适应机制确保仅在需要时才揭示高频分量，从而在平滑或空旷区域最小化噪声。

实验结果

研究问题

• RQ1 渐进式、基于反馈的编码策略是否能提升MLP在无需手动调频的情况下拟合高频信号的能力？
• RQ2 空间自适应的频率渐进过程如何影响不同信号复杂度区域的重建质量？
• RQ3 渐进式编码是否能提升对初始化敏感任务（如3D网格迁移）中的优化稳定性？
• RQ4 与固定频率编码相比，SAPE在多大程度上减少了平滑区域的噪声与高频区域的模糊之间的权衡？
• RQ5 空间掩码中的网格分辨率如何影响SAPE的质量与内存之间的权衡？

主要发现

• SAPE在2D图像和3D占用图上实现了更优的重建质量，能准确拟合车轮和面部特征等精细细节，且在平滑区域未引入噪声。
• 在2D轮廓形变任务中，SAPE实现了稳定收敛至高质量解，避免了固定编码常见的次优局部极小值。
• 在3D网格迁移任务中，SAPE在保持表面几何保真度与平滑性的同时，能准确捕捉复杂物体上的精细细节。
• 消融实验表明，SAPE对频率尺度σ的选择显著不敏感，相较于标准傅里叶特征网络，大幅减少了超参数调优的需求。
• 空间自适应版本的SAPE在2D与3D任务中均优于其非空间版本，证明了局部频率控制的重要性。
• 当使用空间网格时，当网格分辨率与坐标采样密度相匹配时可达到最优性能，表明内存与质量之间存在直接权衡。