[论文解读] The rate of linear convergence of the Douglas-Rachford algorithm for subspaces is the cosine of the Friedrichs angle

Heinz H. Bauschke, Yunier Bello-Cruz+3 more|arXiv (Cornell University)|Sep 18, 2013

Optimization and Variational Analysis参考文献 21被引用 20

一句话总结

该论文证明了在希尔伯特空间中，用于寻找两个子空间交集的Douglas-Rachford算法线性收敛到初始点在交集上的投影，收敛速率等于两子空间之间Friedrichs角的余弦值。分析在一般（可能无限维）希尔伯特空间中进行，提供了精确的收敛速率，并将极限识别为最优逼近解。

ABSTRACT

The Douglas-Rachford splitting algorithm is a classical optimization method that has found many applications. When specialized to two normal cone operators, it yields an algorithm for finding a point in the intersection of two convex sets. This method for solving feasibility problems has attracted a lot of attention due to its good performance even in nonconvex settings. In this paper, we consider the Douglas-Rachford algorithm for finding a point in the intersection of two subspaces. We prove that the method converges strongly to the projection of the starting point onto the intersection. Moreover, if the sum of the two subspaces is closed, then the convergence is linear with the rate being the cosine of the Friedrichs angle between the subspaces. Our results improve upon existing results in three ways: First, we identify the location of the limit and thus reveal the method as a best approximation algorithm; second, we quantify the rate of convergence, and third, we carry out our analysis in general (possibly infinite-dimensional) Hilbert space. We also provide various examples as well as a comparison with the classical method of alternating projections.

研究动机与目标

• 确定将Douglas-Rachford迭代应用于两个子空间时的精确极限。
• 量化该算法在子空间情况下的线性收敛速率。
• 将分析从有限维空间推广到一般希尔伯特空间。
• 比较Douglas-Rachford方法与交替投影法在收敛速度方面的表现。
• 利用Friedrichs角作为关键参数，建立精确的收敛估计。

提出的方法

• 分析采用希尔伯特空间中的非扩张算子和投影理论。
• Douglas-Rachford算子定义为 $ T = P_V(2P_U - \text{Id}) + \text{Id} - P_U $，其中 $ P_U $ 和 $ P_V $ 分别是到子空间 $ U $ 和 $ V $ 的正交投影。
• 证明了序列 $ (x_n) $ 的极限为 $ P_{U\cap V}x_0 $，即 $ x_0 $ 在 $ U \cap V $ 中的最优逼近。
• 通过Friedrichs角 $ \theta $ 推导出收敛速率，其速率为 $ \cos\theta $，并证明该界是精确的。
• 证明依赖于非扩张映射的性质以及Douglas-Rachford算子的谱分析。
• 分析在一般希尔伯特空间中进行，包括无限维情形，并辅以数值实验和反例。

实验结果

研究问题

• RQ1 当将Douglas-Rachford迭代应用于两个子空间时，其收敛的精确极限点是什么？
• RQ2 在子空间情况下，Douglas-Rachford算法的精确线性收敛速率是多少？
• RQ3 收敛速率如何依赖于子空间之间的几何关系？
• RQ4 该收敛速率是否精确？能否用Friedrichs角表示？
• RQ5 Douglas-Rachford方法与交替投影法相比，收敛速度如何？

主要发现

• Douglas-Rachford迭代线性收敛到 $ P_{U\cap V}x_0 $，即初始点在子空间交集中的最优逼近。
• 线性收敛速率恰好为 $ \cos\theta $，其中 $ \theta $ 是两子空间之间的Friedrichs角，且该速率是精确的。
• 该收敛分析适用于一般（可能无限维）希尔伯特空间，不仅限于有限维情形。
• 当子空间之和闭时，收敛为线性，速率为 $ \cos\theta $，且该条件是线性收敛的必要条件。
• 数值实验表明，当Friedrichs角较小时（即 $ \theta < 0.1 $），Douglas-Rachford方法优于交替投影法。
• 该方法在影子序列中表现出‘波动’行为，且在小角度时更为明显，但不影响整体收敛速率。