[论文解读] The Method of Pairwise Variations with Tolerances for Linearly Constrained Optimization Problems

I. V. Konnov|arXiv (Cornell University)|Jan 11, 2017

Optimization and Variational Analysis参考文献 12被引用 6

一句话总结

本文提出了一种名为带容差的成对变化法（PVM）的新梯度下降方法，用于求解具有多面体可行集的光滑线性约束优化问题。该方法通过在极点之间采用选择性成对步长并结合动态容差控制，改进了条件梯度法，实现了更快的收敛速度和更低的计算成本，同时保持了稀疏性，尤其在大规模问题上表现优异，且在理论分析中证明了全局收敛性，在数值实验中展现出优越性能。

ABSTRACT

We consider a method of pairwise variations for smooth optimization problems, which involve polyhedral constraints. It consists in making steps with respect to the difference of two selected extreme points of the feasible set together with special threshold control and tolerances whose values reduce sequentially. The method is simpler and more flexible than the well-known conditional gradient method, but keeps its useful sparsity properties and is very suitable for large dimensional optimization problems. We establish its convergence under rather mild assumptions. Efficiency of the method is confirmed by its convergence rates and results of computational experiments.

研究动机与目标

• 开发一种比经典条件梯度方法更具灵活性和效率的新型光滑优化方法，适用于多面体约束问题。
• 在保持条件梯度方法促进稀疏性的特性的同时，降低计算开销。
• 在较弱假设下建立全局收敛性，并通过一种新颖的容差驱动步长策略提升收敛速率。
• 通过在二次和凸目标函数上的全面计算实验，验证该方法的效率与鲁棒性。

提出的方法

• 该方法通过选择可行集的极点对并形成其差值来生成下降方向，而非像标准条件梯度方法那样仅依赖单一下降方向。
• 采用阈值控制机制，根据容差参数动态调整步长，该参数在迭代过程中逐步减小，以确保收敛性。
• 在每次迭代中，算法先求解一个线性子问题以确定下降方向，随后通过回溯策略执行线搜索以确定最优步长。
• 该方法通过极点的凸组合方式更新解，确保每一步中仅有少数分量非零，从而保持稀疏性。
• 其关键创新在于引入了带容差的成对变化，使得方向选择更具灵活性，并减少了昂贵子问题的求解次数。
• 在梯度有界性和可行集为多面体结构等较弱假设下，证明了该方法的收敛性。

实验结果

研究问题

• RQ1 基于自适应容差的成对变化方法是否能在收敛速度和计算效率方面超越经典条件梯度方法？
• RQ2 所提出的方法在提升收敛速率的同时，是否仍能保持迭代解的稀疏性，尤其适用于大规模优化问题？
• RQ3 随着容差参数递减的阈值控制机制，如何影响算法的整体收敛行为与稳定性？
• RQ4 当目标函数的梯度为Lipschitz连续时，该方法的复杂度界是什么？
• RQ5 在实际数值性能方面，该方法与采用远离步长或成对步长的条件梯度方法变体相比表现如何？

主要发现

• 在较弱假设下，包括目标函数光滑性和多面体约束，成对变化与容差法（PVM）可实现全局收敛至驻点。
• 对于梯度为Lipschitz连续的问题，该方法在达到ε-最优解时的迭代次数复杂度为O(1/ε)，与条件梯度方法最优已知收敛率一致。
• 在计算实验中，PVM显著优于标准条件梯度方法（CGM），在所有测试问题规模（m = 5 至 100）下均表现出更少的迭代次数和总函数评估次数。
• 平均而言，PVM相比CGM减少了40–60%的函数评估次数，相比成对下降法（MDM）减少了20–40%的评估次数，尤其在m ≥ 10时表现更优。
• 该方法在二次和凸目标函数上均表现出稳定且快速的收敛性，且随着容差参数的减小，收敛速率进一步提升。
• 对于大规模问题（m = 100），PVM仅需267–307次函数评估（取决于初始点和目标函数），而CGM在多个情况下于500次迭代内未能收敛。