[论文解读] VectorAdam for Rotation Equivariant Geometry Optimization

Selena Ling, Nicholas Sharp+1 more|arXiv (Cornell University)|May 26, 2022

Advanced Numerical Analysis Techniques被引用 8

一句话总结

本文提出VectorAdam，一种旋转等变的Adam优化算法变体，能够保持参数的向量结构，消除几何优化中依赖坐标系的伪影。该方法在保证可证明旋转等变更新的同时，在3D几何处理和纹理重建等任务中实现了与标准Adam相当或更优的收敛速度。

ABSTRACT

The Adam optimization algorithm has proven remarkably effective for optimization problems across machine learning and even traditional tasks in geometry processing. At the same time, the development of equivariant methods, which preserve their output under the action of rotation or some other transformation, has proven to be important for geometry problems across these domains. In this work, we observe that Adam $-$ when treated as a function that maps initial conditions to optimized results $-$ is not rotation equivariant for vector-valued parameters due to per-coordinate moment updates. This leads to significant artifacts and biases in practice. We propose to resolve this deficiency with VectorAdam, a simple modification which makes Adam rotation-equivariant by accounting for the vector structure of optimization variables. We demonstrate this approach on problems in machine learning and traditional geometric optimization, showing that equivariant VectorAdam resolves the artifacts and biases of traditional Adam when applied to vector-valued data, with equivalent or even improved rates of convergence.

研究动机与目标

• 解决标准Adam优化器在应用于向量值几何数据时缺乏旋转等变性的问题。
• 消除由各分量梯度矩更新引起的坐标系依赖伪影和偏差。
• 开发一种简单而有效的Adam改进方法，以尊重几何参数的向量本质。
• 证明VectorAdam在保持或提升收敛速度的同时，确保几何机器学习与几何处理任务中的等变性。
• 探讨将等变性从数据扩展至优化过程本身所带来的理论与实际影响。

提出的方法

• 将Adam的逐标量矩更新修改为基于向量统计量（如向量范数和方向）的向量值参数更新，而非标量分量。
• 用追踪梯度大小和方向的向量值一阶与二阶矩估计，替代原有的标量矩估计。
• 应用旋转等变的更新规则，确保优化函数在输入数据旋转下保持一致变换。
• 保留Adam的自适应学习率机制，但将其扩展为作用于向量梯度而非单个标量分量。
• 以最小改动将VectorAdam集成至现有优化流水线，保持计算效率。
• 在合成几何问题和真实应用场景（如可微渲染与点云分割）上验证该方法。

实验结果

研究问题

• RQ1 标准Adam在优化向量值几何参数时是否会产生坐标依赖伪影？
• RQ2 能否设计一种改进的Adam变体，使其在保持收敛速度的同时具备可证明的旋转等变性？
• RQ3 在涉及3D形状和纹理的几何优化任务中，VectorAdam相较于标准Adam表现如何？
• RQ4 旋转等变性在几何深度学习（如PointNet基分割）中在多大程度上提升了稳定性与泛化能力？
• RQ5 将等变性从数据扩展至优化过程本身，其理论与实际影响是什么？

主要发现

• VectorAdam消除了几何优化中由坐标系引起的伪影与偏差，即使损失函数本身是坐标无关的。
• 在通过可微渲染进行纹理重建的任务中，VectorAdam在200次随机初始化下均实现了比标准Adam更优的平均性能与更快的收敛速度。
• 在PointNet的点云分割任务中，VectorAdam显著提升了训练稳定性，表现为10次运行中测试损失与准确率的方差显著降低。
• VectorAdam在保持或提升收敛速度的同时，确保了理论上的旋转等变性。
• 初步实验表明，VectorAdam的优势不仅限于坐标值数据，在几何神经网络的权重优化中也表现出更高的稳定性。
• 该方法计算高效，与现有深度学习框架兼容，仅需对标准Adam进行少量修改即可集成。