[论文解读] Online Stochastic Optimization with Multiple Objectives

Mehrdad Mahdavi, Tianbao Yang+1 more|arXiv (Cornell University)|Nov 26, 2012

Advanced Bandit Algorithms Research参考文献 27被引用 8

一句话总结

本文提出了一种高效的原始-对偶随机梯度算法，用于在仅具有随机一阶信息的条件下，对多个目标进行在线凸优化。通过将问题重新表述为一个主目标与其它目标具有阈值的约束优化问题，该方法在仅需Lipschitz连续性假设下，以高概率实现了最优的 O(1/√T) 收敛速率，优于以往依赖采样方法且需强一致收敛假设的算法。

ABSTRACT

In this paper we propose a general framework to characterize and solve the stochastic optimization problems with multiple objectives underlying many real world learning applications. We first propose a projection based algorithm which attains an $O(T^{-1/3})$ convergence rate. Then, by leveraging on the theory of Lagrangian in constrained optimization, we devise a novel primal-dual stochastic approximation algorithm which attains the optimal convergence rate of $O(T^{-1/2})$ for general Lipschitz continuous objectives.

研究动机与目标

• 解决在仅能访问随机一阶预言机的条件下，多个冲突目标的在线随机凸优化问题的挑战。
• 克服现有方法依赖强假设（如一致收敛性或固定加权方案）的局限性。
• 开发一种算法，在尊重次要目标约束阈值的同时，实现最优收敛速率。
• 在最小假设下，为收敛性和约束违反提供高概率的理论保证。

提出的方法

• 通过将一个目标视为主要目标，其余目标作为具有用户定义阈值的不等式约束，将多目标问题重新表述为约束优化问题。
• 基于拉格朗日对偶性，采用原始-对偶随机梯度下降框架，联合优化目标并强制执行约束。
• 使用带有自适应对偶变量的改进对偶更新规则，以控制约束违反，确保收敛至可行解。
• 利用次高斯尾部不等式，通过高概率浓度不等式推导有限样本性能保证。
• 提出一种通过最大约束重构来估计对偶变量上界的策略，从而实现对偶参数的安全初始化。
• 采用鞍点公式，将原始-对偶迭代与约束问题的最优解联系起来，确保收敛至可行且最优的解。

实验结果

研究问题

• RQ1 在仅需Lipschitz连续性而无需强一致收敛等假设的条件下，能否设计一种随机优化算法，实现多个目标的最优 O(1/√T) 收敛速率？
• RQ2 在多目标随机优化中，如何以高概率控制约束违反？
• RQ3 原始-对偶随机算法能否在收敛速率和鲁棒性方面优于基于采样的两阶段方法？
• RQ4 单个约束的对偶变量与最大约束重构形式的对偶变量之间存在何种关系？

主要发现

• 所提出的原始-对偶随机算法在仅需目标函数Lipschitz连续性的条件下，以高概率实现了主目标的最优 O(1/√T) 收敛速率。
• 次要目标的约束违反以高概率被限制在 O(1/√T) 范围内，确保随着 T 增大，可行性得以维持。
• 该方法优于两阶段采样方法，后者需强一致收敛假设且无法实现最优收敛速率。
• 证明了最大约束重构的对偶变量等于各独立对偶变量之和，从而可实现上界的可靠估计。
• 通过假设约束函数次梯度范数存在下界（假设3），可证明最优对偶变量有界，从而实现算法的稳定初始化。
• 理论分析证实，即使仅能获得随机梯度，该算法仍以高概率收敛至满足所有约束的解。