[论文解读] Worst Case Competitive Analysis of Online Algorithms for Conic Optimization

Reza Eghbali, Maryam Fazel|arXiv (Cornell University)|Nov 2, 2016

Optimization and Search Problems参考文献 33被引用 4

一句话总结

本文针对正象限和正半定锥上的锥优化问题，对原始-对偶在线算法进行了最坏情况竞争比分析，推导出确保单调函数竞争比下限为1/2的客观函数充分条件。通过凸优化引入最优平滑技术以提升竞争比，尤其适用于可分函数，并提出一种直接在平滑函数上优化竞争比上界的构造性方法。

ABSTRACT

Online optimization covers problems such as online resource allocation, online bipartite matching, adwords (a central problem in e-commerce and advertising), and adwords with separable concave returns. We analyze the worst case competitive ratio of two primal-dual algorithms for a class of online convex (conic) optimization problems that contains the previous examples as special cases defined on the positive orthant. We derive a sufficient condition on the objective function that guarantees a constant worst case competitive ratio (greater than or equal to $\frac{1}{2}$) for monotone objective functions. We provide new examples of online problems on the positive orthant and the positive semidefinite cone that satisfy the sufficient condition. We show how smoothing can improve the competitive ratio of these algorithms, and in particular for separable functions, we show that the optimal smoothing can be derived by solving a convex optimization problem. This result allows us to directly optimize the competitive ratio bound over a class of smoothing functions, and hence design effective smoothing customized for a given cost function.

研究动机与目标

• 分析一类广泛锥优化问题的在线原始-对偶算法的最坏情况竞争比。
• 识别客观函数的充分条件，以确保单调函数的竞争比为常数（≥1/2）。
• 开发一种最优平滑方法，以增强在线算法的竞争比。
• 提供一种凸优化框架，用于设计针对特定代价函数的平滑函数。
• 将分析扩展至正半定锥上的问题及可分凹目标函数。

提出的方法

• 将在线锥优化建模为在正象限和正半定锥上的原始-对偶问题，约束集为紧致凸集。
• 提出两种原始-对偶算法：一种为序列更新（算法1），另一种为连续对偶点更新（算法2）。
• 推导出客观函数ψ的充分条件，使得单调ψ的竞争比下限为1/2。
• 引入一种平滑技术，通过变换客观函数以提升竞争比，最优平滑通过求解凸优化问题获得。
• 将该方法应用于可分函数，并证明最优平滑函数可通过在平滑函数类上进行凸优化推导得出。
• 利用共轭函数与对偶性，以Fenchel共轭形式表达平滑，实现分析与计算上的可处理性。

实验结果

研究问题

• RQ1 客观函数的何种充分条件可确保单调锥优化问题的最坏情况竞争比不低于1/2？
• RQ2 如何系统性地应用平滑技术以提升在线原始-对偶算法的竞争比？
• RQ3 最优平滑函数能否高效计算？若可，其对应的凸优化公式为何？
• RQ4 对于可分凹目标函数，最优平滑下竞争比的提升程度如何？
• RQ5 所提出的算法在正半定锥上的问题中表现如何？

主要发现

• 客观函数ψ的充分条件可确保在正象限上的锥优化问题中，单调函数的竞争比下限为1/2。
• 对于可分函数，可通过求解凸优化问题计算出使竞争比最大化的最优平滑函数。
• 对于一类分段线性函数，平滑后问题的竞争比可被界定为1 - exp(-1/(c+1))，其中c为与函数曲率相关的参数。
• 当ψ(u) = log(1+u)且u_max = 100时，最优平滑下的竞争比随c增大趋近于1 - exp(-1/c)，显著优于未经平滑的版本。
• 该框架适用于正半定锥上的问题，论文推导出的充分条件在示例中得以满足。
• 所提出的平滑方法可将竞争比提升至1/2以上，尤其适用于曲率有界的函数，并可直接优化竞争比上界。