[论文解读] Newton retraction as approximate geodesics on submanifolds

Ruda Zhang|arXiv (Cornell University)|Jun 26, 2020

Advanced Numerical Analysis Techniques参考文献 25被引用 6

一句话总结

本文提出牛顿收缩（Newton retraction, NR）作为一种在由隐式约束定义的子流形上的二阶收缩，其来源于环境空间的法向叶状结构。NR 与指数映射在二阶精度上一致，相较于斜向/正交收缩，具有更优的收敛稳定性与更低的计算成本，并在实践中被证明更具效率与鲁棒性。

ABSTRACT

Efficient approximation of geodesics is crucial for practical algorithms on manifolds. Here we introduce a class of retractions on submanifolds, induced by a foliation of the ambient manifold. They match the projective retraction to the third order and thus match the exponential map to the second order. In particular, we show that Newton retraction (NR) is always stabler than the popular approach known as oblique projection or orthographic retraction: per Kantorovich-type convergence theorems, the superlinear convergence regions of NR include those of the latter. We also show that NR always has a lower computational cost. The preferable properties of NR are useful for optimization, sampling, and many other statistical problems on manifolds.

研究动机与目标

• 开发一种计算高效且数值稳定的收缩方法，用于近似隐式定义子流形上的测地线。
• 改进现有收缩方法（尤其是斜向或正交收缩）在流形优化与采样中的收敛行为。
• 为牛顿收缩的收敛速率与计算复杂度提供理论保证，相对于其他方法。
• 通过Kantorovich型收敛定理，证明牛顿收缩实现二阶精度并具备更优的稳定性。
• 表明牛顿收缩在计算成本上低于斜向投影，因其更新步骤中使用对称线性系统。

提出的方法

• 将子流形 𝒪 定义为光滑约束函数 F: ℝⁿ → ℝᶜ 的零点集，且 0 为正则值，确保 𝒪 是余维数为 c 的 Cᵏ 子流形。
• 通过积分法向空间场，构造 𝒪 邻域的法向叶状结构，从而通过沿法向测地线的流诱导出一类收缩。
• 提出牛顿收缩（NR）作为特定收缩，通过求解牛顿型系统将 x + v 投影到约束流形 𝒪 上，利用雅可比矩阵 J(x) 及其 QR 分解。
• 利用 QR 分解 Jᵀ = QR，为法向空间定义稳定且正交的基，从而实现高效且条件良好的线性求解。
• 将更新步骤表述为求解涉及 JJᵀ 的对称线性系统，其计算效率高于斜向收缩中的通用矩阵求解。
• 通过证明 NR 与投影收缩在三阶精度上一致，且与指数映射在二阶精度上一致，确立 NR 为二阶收缩。

实验结果

研究问题

• RQ1 能否构造一种收缩，使其与指数映射在二阶精度上一致，同时在隐式定义的子流形上保持计算效率？
• RQ2 在Kantorovich型收敛定理下，牛顿收缩的收敛行为与斜向（正交）收缩相比如何？
• RQ3 牛顿收缩在操作次数与线性系统条件数方面是否相对于斜向收缩具有计算优势？
• RQ4 在解流形邻域内，牛顿收缩的稳定性和超线性收敛性需满足何种条件？
• RQ5 牛顿收缩能否系统地从环境空间的叶状结构（即与约束流形正交的子流形）中导出？

主要发现

• 牛顿收缩与指数映射在二阶精度上一致，与投影收缩在三阶精度上一致，确立了其二阶精度。
• 在Kantorovich型收敛定理下，牛顿收缩的超线性收敛区域严格包含斜向收缩的区域，表明其收敛稳定性更优。
• 牛顿收缩在其更新步骤中使用对称线性系统（JJᵀ），相比斜向收缩中的通用矩阵求解，可实现更快更稳定的求解。
• 计算成本分析表明，牛顿收缩的计算成本低于斜向收缩，如命题 2.14 的证明中所示。
• 牛顿收缩在与斜向收缩相同的条件下始终定义良好且稳定，且由于线性系统的对称结构，其条件数更优。
• 在牛顿收缩框架下，雅可比伪逆范数被条件数的倒数所界定，确保在适当正则性假设下的数值鲁棒性。