[论文解读] Primal-Dual Frank-Wolfe for Constrained Stochastic Programs with Convex and Non-convex Objectives

Xiaohan Wei, Michael J. Neely|arXiv (Cornell University)|Jun 2, 2018

Advanced Wireless Network Optimization参考文献 23被引用 5

一句话总结

该论文提出了一种用于具有凸与非凸目标函数的约束性随机规划的原始-对偶Frank-Wolfe算法，实现了在时变系统中低复杂度、无需统计知识的决策。对于非凸问题，其收敛时间为O(1/ε³)；对于凸问题，收敛时间为O(1/ε²)，并应用于分布式机会调度与网络上的共识优化。

ABSTRACT

We study constrained stochastic programs where the decision vector at each time slot cannot be chosen freely but is tied to the realization of an underlying random state vector. The goal is to minimize a general objective function subject to linear constraints. A typical scenario where such programs appear is opportunistic scheduling over a network of time-varying channels, where the random state vector is the channel state observed, and the control vector is the transmission decision which depends on the current channel state. We consider a primal-dual type Frank-Wolfe algorithm that has a low complexity update during each slot and that learns to make efficient decisions without prior knowledge of the probability distribution of the random state vector. We establish convergence time guarantees for the case of both convex and non-convex objective functions. We also emphasize application of the algorithm to non-convex opportunistic scheduling and distributed non-convex stochastic optimization over a connected graph.

研究动机与目标

• 开发一种用于约束性随机规划的低复杂度、无需统计知识的算法，其中决策依赖于独立同分布的随机状态。
• 在未知状态分布的情况下，为凸与非凸目标函数建立收敛时间保证。
• 实现在具有共识约束的连通图上的分布式非凸随机优化。
• 支持实际应用，如时变无线网络中的机会调度与队列稳定性下的功率优化。
• 在分布式环境下，提供目标次优性、约束违反与共识误差的理论性能边界。

提出的方法

• 该算法采用基于虚拟队列的原始-对偶Frank-Wolfe框架，以强制执行约束并根据局部梯度指导决策。
• 在每个时隙，各代理求解可分离的子问题：一个用于原始变量（通过Frank-Wolfe步骤），另一个用于对偶变量（通过对偶变量进行投影梯度）。
• 通过最大值操作逐元素更新虚拟队列，以跟踪约束违反情况并引导对偶上升。
• 算法采用时间平均更新规则，步长衰减为η = 1/T^{2/3}，以平衡收敛性与稳定性。
• 在分布式优化中，每个节点维护对偶变量的本地副本，并通过与邻居通信，利用虚拟队列强制实现共识。
• 使用参数V = T^{1/3}在目标性能与约束违反之间进行权衡，从而实现最优收敛速率。

实验结果

研究问题

• RQ1 在未知状态分布的情况下，原始-对偶Frank-Wolfe算法能否在约束性随机规划中实现收敛至ε-近似解？
• RQ2 在此设置下，凸与非凸目标函数的收敛时间复杂度分别是多少？
• RQ3 该算法如何扩展至具有共识约束的连通网络上的分布式非凸优化？
• RQ4 在分布式环境下，可为目标次优性、约束违反与共识误差建立何种性能边界？
• RQ5 该算法能否在保持低计算复杂度的同时，实现凸与非凸情形下的最优收敛速率？

主要发现

• 对于凸目标函数，该算法以O(1/ε²)的收敛时间达到ε-最优解，与漂移加惩罚方法的已知边界一致。
• 对于非凸目标函数，该算法在O(1/ε³)时间内收敛至ε-近似局部最优解，次优性间隙受O(1/T^{1/3})边界的限制。
• 任意两个节点之间的期望约束违反被限制在O(1/T^{1/3})以内，确保共识收敛。
• 到可行集Γ̄_i^*的期望距离被限制在O(1/T^{2/3})以内，表明收敛至可行性。
• 通过使用Frank-Wolfe与投影梯度步骤求解可分离子问题，该算法保持了每时隙的低复杂度。
• 通过在具有共识约束的分布式非凸随机优化中的应用，验证了理论性能边界的正确性。