[论文解读] Practical Global Optimization Algorithm for the Sum-of-Ratios Problem

Yunchol Jong|arXiv (Cornell University)|Jul 5, 2012

Sparse and Compressive Sensing Techniques参考文献 9被引用 13

一句话总结

本文提出了一种全局收敛算法，用于求解在图像处理和工程中常见的非凸优化挑战——分式之和问题。通过迭代求解凸子问题，该方法在全局范围内保证了全局最优性，具有线性收敛速度，且在局部具有超线性或二次收敛速度，其有效性通过在合成数据上的数值实验得到验证。

ABSTRACT

This paper presents a practical method for finding the globally optimal solution to the sum-of-ratios problem arising in image processing, engineering and management. Unlike traditional methods which may get trapped in local minima due to the non-convex nature of this problem, our approach provides a theoretical guarantee of global optimality. Our algorithm is based on solving a sequence of convex programming problems and has global linear and local superlinear/quadratic rate of convergence. The practical efficiency of the algorithm is demonstrated by numerical experiments for synthetic data.

研究动机与目标

• 为解决分式之和问题的全局优化，该问题在图像处理和管理等应用中具有非凸性且易陷入局部极小值。
• 开发一种确保全局最优性的方法，以克服传统局部搜索方法的局限性。
• 在理论上保证收敛性的同时，实现实际计算效率。
• 通过在合成数据集上的数值实验，展示该算法的性能。

提出的方法

• 该算法通过迭代求解一系列凸规划子问题，逐步逼近全局最优解。
• 它利用分式之和问题的参数化重构，使每一步都能实现凸松弛。
• 该方法结合线搜索策略，以确保目标函数的充分下降。
• 收敛性分析在较弱的可微性假设下，建立了全局线性收敛和局部超线性/二次收敛速率。
• 该方法设计为可使用标准凸优化求解器实现。
• 增加了连续可微性假设，以确保重构后问题的光滑性。

实验结果

研究问题

• RQ1 能否开发一种实用算法，确保分式之和问题的全局最优性？
• RQ2 如何有效将分式之和问题的非凸性转化为一系列凸子问题？
• RQ3 对于这种迭代凸化方法，理论上可建立何种收敛速率？
• RQ4 与局部优化方法相比，该算法在实际中的表现如何？

主要发现

• 在增加连续可微性假设的前提下，所提出的算法实现了全局线性收敛和局部超线性/二次收敛。
• 尽管原问题具有非凸性，但该方法仍保持了全局最优性的理论保证。
• 在合成数据上的数值实验验证了该方法的实际效率和鲁棒性。
• 在增加可微性假设后，结果保持不变，表明该方法具有稳定性。
• 该算法通过避免次优解，优于传统局部优化技术。