[论文解读] Online Linear Programming: Dual Convergence, New Algorithms, and Regret Bounds

Xiaocheng Li, Yinyu Ye|arXiv (Cornell University)|Sep 12, 2019

Optimization and Search Problems参考文献 53被引用 21

一句话总结

本文解决了在线线性规划（OLP）中两个长期存在的开放问题：（1）在温和的正则性条件下，在线算法的对偶价格收敛于离线最优对偶价格；（2）结果可推广至具有混合符号系数的一般线性规划（LP）。本文提出一种动作历史依赖学习算法，通过利用过往决策和输入数据来稳定约束消耗，实现了 $O(\log n \log \log n)$ 的遗憾界——显著优于先前对偶价格学习方法的 $O(\sqrt{n})$ 遗憾界。

ABSTRACT

We study an online linear programming (OLP) problem under a random input model in which the columns of the constraint matrix along with the corresponding coefficients in the objective function are generated i.i.d. from an unknown distribution and revealed sequentially over time. Virtually all pre-existing online algorithms were based on learning the dual optimal solutions/prices of the linear programs (LP), and their analyses were focused on the aggregate objective value and solving the packing LP where all coefficients in the constraint matrix and objective are nonnegative. However, two major open questions were: (i) Does the set of LP optimal dual prices learned in the pre-existing algorithms converge to those of the "offline" LP, and (ii) Could the results be extended to general LP problems where the coefficients can be either positive or negative. We resolve these two questions by establishing convergence results for the dual prices under moderate regularity conditions for general LP problems. Specifically, we identify an equivalent form of the dual problem which relates the dual LP with a sample average approximation to a stochastic program. Furthermore, we propose a new type of OLP algorithm, Action-History-Dependent Learning Algorithm, which improves the previous algorithm performances by taking into account the past input data as well as decisions/actions already made. We derive an $O(\log n \log \log n)$ regret bound (under a locally strong convexity and smoothness condition) for the proposed algorithm, against the $O(\sqrt{n})$ bound for typical dual-price learning algorithms, where $n$ is the number of decision variables. Numerical experiments demonstrate the effectiveness of the proposed algorithm and the action-history-dependent design.

研究动机与目标

• 在随机输入模型下，建立在线对偶价格收敛于离线线性规划最优对偶解的理论基础。
• 将现有在线线性规划（OLP）结果从打包LP（packing LPs）推广至具有正负系数的一般线性规划。
• 设计一类新型OLP算法，整合历史决策数据以提升性能。
• 通过利用对偶收敛性和自适应学习，推导出更紧致的在线线性规划遗憾界。
• 为一般LP设置下基于对偶的在线算法的稳定性和最优性提供理论基础。

提出的方法

• 将采样对偶LP表述为由真实分布 $\mathcal{P}$ 和约束容量定义的随机规划的样本平均近似（SAA）。
• 在适度正则性条件下，证明采样对偶最优解与真实随机规划对偶解之间的 $L^2$ 距离为 $\tilde{O}(\sqrt{m}/\sqrt{n})$。
• 提出一种新的动作历史依赖学习算法，利用过往输入数据和过往决策来更新对偶价格。
• 引入一种动态对偶价格更新规则，根据累计约束消耗和历史动作自适应调整。
• 利用局部强凸性和光滑性条件，推导出新算法的 $O(\log n \log \log n)$ 遗憾界。
• 借助对偶收敛结果，证明可将先前的对偶估计用作热启动，从而提升计算效率。

实验结果

研究问题

• RQ1 由在线算法学习到的最优对偶价格集合是否收敛于离线线性规划的最优对偶解？
• RQ2 在线线性规划的收敛性与性能保证是否可推广至同时包含正负系数的一般LP？
• RQ3 在对偶学习过程中整合历史决策数据，是否可使遗憾界优于标准对偶价格学习算法？
• RQ4 一种考虑过去决策和输入数据的基于对偶的在线算法，所能达到的最紧致遗憾界是什么？
• RQ5 该新算法的计算成本如何随决策变量和约束数量变化？

主要发现

• 在温和正则性条件下，采样对偶LP的最优对偶解与底层随机规划最优解之间的 $L^2$ 误差为 $\tilde{O}(\sqrt{m}/\sqrt{n})$，且该解收敛。
• 该收敛结果适用于一般线性规划，不仅限于打包LP，因此框架可处理正负系数。
• 所提出的动作历史依赖学习算法实现了 $O(\log n \log \log n)$ 的遗憾界，显著优于先前对偶价格学习方法的 $O(\sqrt{n})$ 遗憾界。
• 通过整合历史决策，该算法稳定了约束消耗，减少了早期算法中出现的 $O(\sqrt{n})$ 波动。
• 数值实验验证了新算法的有效性，并证实了动作历史依赖在降低遗憾方面的优势。
• 新算法的计算成本为 $O(n)$，但由于先前对偶估计与当前解接近，实践中可通过将其用作热启动进一步降低。