[论文解读] Quantitative Strong Convergence for the Hybrid Steepest Descent Method

Daniel Körnlein|arXiv (Cornell University)|Oct 3, 2016

Optimization and Variational Analysis参考文献 13被引用 3

一句话总结

本文首次对希尔伯特空间中变分不等式问题的混合最速下降法（HSDM）进行了定量分析，采用证明挖掘技术提取了稳定性速率与复杂度界。在严格压缩与强单调性假设下，该文建立了单个与有限个非扩张映射族的强收敛性，并给出了收敛一致性的显式速率，提供了有效的界。

ABSTRACT

We provide new complexity information for the convergence of the Hybrid Steepest Descent Method for solving the Variational Inequality Problem for a strict contraction on Hilbert space over a closed convex set C given either as the fixed point set of a single nonexpansive mapping or the intersection of the fixed point sets of a finite family of nonexpansive mappings. More precisely, we give metastability rates in the sense of Tao for those cases. The results in this paper were extracted from a proof due to Yamada using proof-mining techniques, and provide a thorough quantitative analysis of the Hybrid Steepest Descent Method.

研究动机与目标

• 为希尔伯特空间中变分不等式问题（VIP）的混合最速下降法（HSDM）提供定量分析。
• 在严格压缩与强单调性假设下，利用陶哲轩意义上的“稳定性速率”（metastability rates）——即定量收敛信息——从HSDM的证明中提取。
• 分析两种情形：解集为单个非扩张映射的不动点集，以及解集为有限个此类映射不动点集的交集。
• 通过证明论技术将山田（Yamada）的定性收敛证明转化为有效且一致的界，从而提供HSDM的复杂度信息。
• 通过提供无需解集投影闭式表达的显式、可计算的收敛速率，扩展HSDM的适用性。

提出的方法

• 该方法将证明挖掘技术应用于山田原始的HSDM强收敛性证明，将非一致收敛转化为一致的稳定性界。
• 推导出HSDM迭代序列 $ u_{n+1} := T(u_n) - \lambda_{n+1}\mu\mathcal{F}(T(u_n)) $ 的显式稳定性速率，其中 $ T $ 为非扩张映射，$ \mathcal{F} $ 为 $ \kappa $-Lipschitz 且 $ \eta $-强单调。
• 在有限族情形下，迭代形式为 $ u_{n+1} := T_{[n+1]}(u_n) - \lambda_{n+1}\mu\mathcal{F}(T_{[n+1]}(u_n)) $，其中 $ [n] = n \mod N $，在步长可 summable 且趋于零的条件下分析收敛性。
• 分析依赖于利用非扩张映射的不动点性质与 $ \mathcal{F} $ 的强单调性来控制解集距离，对误差项实现显式控制。
• 所得界以 $ \varepsilon $、$ \kappa $、$ \eta $ 及初始到解集的距离为函数表达，给出可计算的稳定性模量。
• 该方法确保对任意 $ \varepsilon > 0 $，存在统一的 $ N $，使得对所有 $ m,n \geq N $，有 $ \|u_n - u_m\| < \varepsilon $，且 $ N $ 可由问题参数有效计算。

实验结果

研究问题

• RQ1 在希尔伯特空间中求解变分不等式时，混合最速下降法的定量收敛速率是什么？
• RQ2 如何利用证明挖掘技术从HSDM强收敛性证明中提取稳定性速率？
• RQ3 在不同解集假设下，HSDM达到 $ \varepsilon $-精度所需的迭代次数的有效界是什么？
• RQ4 单个非扩张映射情形与有限交集情形下的收敛速率有何差异？
• RQ5 是否可以无需对解集进行显式投影，也对HSDM进行定量分析？

主要发现

• 本文首次为混合最速下降法提供了显式稳定性速率，确保对任意 $ \varepsilon > 0 $，存在 $ N $，使得对所有 $ m,n \geq N $，有 $ \|u_n - u_m\| < \varepsilon $，且 $ N $ 可由问题参数计算得出。
• 在单个非扩张映射情形下，当满足 $ \lambda_n \to 0 $，$ \sum \lambda_n = \infty $，且 $ \frac{\lambda_n - \lambda_{n+1}}{\lambda_n^2} \to 0 $ 时，收敛速率被量化，并给出了可计算的稳定性模量。
• 在有限族情形（$ N \geq 1 $）中，方法允许 $ \lambda_n = 1/n $，收敛速率再次通过稳定性模量量化，优于先前结果。
• 分析表明，即使无法获得解集上的投影，HSDM仍能以有效界实现强收敛，仅依赖于非扩张映射。
• 收敛速率显式依赖于强单调性常数 $ \eta $、Lipschitz常数 $ \kappa $ 以及初始到解集的距离，对 $ \varepsilon $、$ \tau = 1 - \sqrt{1 - \mu(2\eta - \mu\kappa^2)} $ 与初始轨道直径有显式依赖。
• 本文证明HSDM在弱假设下具有鲁棒性：即使解集无界，只要初始距离到不动点满足温和约束，仍可推导出收敛速率。