[论文解读] On the convergence rate improvement of a primal-dual splitting algorithm for solving monotone inclusion problems

Radu Ioan Boţ, Ernö Robert Csetnek+1 more|arXiv (Cornell University)|Mar 12, 2013

Optimization and Variational Analysis参考文献 19被引用 9

一句话总结

本文提出两种基于前向-后向分裂的修正原始-对偶分裂算法，用于求解单调包含问题，在强单调性假设下实现了 $\mathcal{O}(1/n)$ 和 $\mathcal{O}(\omega^n)$ 的改进收敛速率。所提方法完全可分解，适用于凸优化问题，并在图像处理与支持向量机中进行了数值验证。

ABSTRACT

We present two modified versions of the primal-dual splitting algorithm relying on forward-backward splitting proposed in \cite{vu} for solving monotone inclusion problems. Under strong monotonicity assumptions for some of the operators involved we obtain for the sequences of iterates that approach the solution orders of convergence of O(1/n) and O(ω^n), for $ω\in (0,1)$, respectively. The investigated primal-dual algorithms are fully decomposable, in the sense that the operators are processed individually at each iteration. We also discuss the modified algorithms in the context of convex optimization problems and present numerical experiments in image processing and support vector machines classification.

研究动机与目标

• 改进 Vũ（2013）提出的用于单调包含问题的原始-对偶分裂算法的收敛速率。
• 在强单调性假设下，为改进的算法建立 $\mathcal{O}(1/n)$ 和 $\mathcal{O}(\omega^n)$ 的收敛速率。
• 确保完全可分解性，使每个迭代中可独立处理各算子。
• 将改进的算法应用于凸优化问题，特别是在图像处理与支持向量机分类中的应用。
• 通过真实世界数据集的数值实验验证理论改进。

提出的方法

• 引入文献 [21] 中原始-对偶前向-后向分裂算法的两个改进版本，结合强单调性假设。
• 对单值算子（包括线性连续算子及其共轭）使用前向步骤，对多值算子使用通过预解算子的后向步骤。
• 应用算法求解形式为 $0 \in A(x) + K^* B(Kx)$ 的单调包含问题，其中 $A$ 和 $B$ 为极大单调算子，$K$ 为有界线性算子。
• 通过在每次迭代中独立处理每个算子，确保完全可分解性，从而支持并行与分布式计算。
• 利用预解恒等式 $J_{\gamma A} + \gamma J_{\gamma^{-1}A^{-1}} \circ \gamma^{-1} \text{Id} = \text{Id}$ 以保持算法结构。
• 将算法应用于再生核希尔伯特空间中的 Tikhonov 正则化 SVM 问题，将对偶问题重新表述为所需的单调包含形式。

实验结果

研究问题

• RQ1 在强单调性假设下，原始-对偶前向-后向分裂算法的收敛速率是否可以加速？
• RQ2 当对某些算子施加强单调性时，改进的原始-对偶算法可达到的收敛速率是多少？
• RQ3 算法的可分解性如何影响其在大规模优化问题中的实际适用性？
• RQ4 改进的收敛速率是否可在图像处理与 SVM 分类等实际应用中通过数值实验验证？
• RQ5 在 SVM 训练中使用改进算法时，核参数选择对误分类率有何影响？

主要发现

• 在强单调性假设下，改进算法对 $\omega \in (0,1)$ 实现了线性收敛速率 $\mathcal{O}(\omega^n)$，显著快于次线性速率。
• 对于优化问题中 $\gamma$-强凸的 $f + h$ 情况，算法实现了 $\mathcal{O}(1/n)$ 的收敛速率。
• 在包含 5899 幅图像的数字分类数据集上的数值实验表明，当 $\sigma = 0.15$ 时，测试误分类率为 1.36%，优于部分文献基准。
• 当 $\sigma = 0.15$ 和 $0.175$ 时，训练误差为零，表明在最优核参数下具有优异的泛化性能。
• 该算法对正则化参数 $C$ 的变化表现出鲁棒性，未观察到对分类准确率产生显著影响。
• 所提方法在支持向量分类方面实现了优于或具有竞争力的性能，尤其在核参数选择得当时。