[论文解读] Simple and Fast Algorithm for Binary Integer and Online Linear Programming

Xiaocheng Li, Chunlin Sun+1 more|arXiv (Cornell University)|Mar 5, 2020

Risk and Portfolio Optimization被引用 12

一句话总结

本文提出了一种简单、单遍处理的在线算法，用于求解二值整数规划与在线线性规划问题，通过在对偶空间中使用投影随机次梯度下降，实现两种输入模型（随机与随机排列）下的 O(m√n) 期望遗憾与约束违反。该方法计算高效，避免矩阵求逆，并在大规模问题上展现出强理论保证与优于以往算法的实际性能。

ABSTRACT

In this paper, we develop a simple and fast online algorithm for solving a class of binary integer linear programs (LPs) arisen in general resource allocation problem. The algorithm requires only one single pass through the input data and is free of doing any matrix inversion. It can be viewed as both an approximate algorithm for solving binary integer LPs and a fast algorithm for solving online LP problems. The algorithm is inspired by an equivalent form of the dual problem of the relaxed LP and it essentially performs (one-pass) projected stochastic subgradient descent in the dual space. We analyze the algorithm in two different models, stochastic input and random permutation, with minimal technical assumptions on the input data. The algorithm achieves $O\left(m \sqrt{n} ight)$ expected regret under the stochastic input model and $O\left((m+\log n)\sqrt{n} ight)$ expected regret under the random permutation model, and it achieves $O(m \sqrt{n})$ expected constraint violation under both models, where $n$ is the number of decision variables and $m$ is the number of constraints. The algorithm enjoys the same performance guarantee when generalized to a multi-dimensional LP setting which covers a wider range of applications. In addition, we employ the notion of permutational Rademacher complexity and derive regret bounds for two earlier online LP algorithms for comparison. Both algorithms improve the regret bound with a factor of $\sqrt{m}$ by paying more computational cost. Furthermore, we demonstrate how to convert the possibly infeasible solution to a feasible one through a randomized procedure. Numerical experiments illustrate the general applicability and effectiveness of the algorithms.

研究动机与目标

• 开发一种简单且高效的在线算法，用于求解资源分配中出现的二值整数线性规划问题。
• 在对输入数据假设最少的前提下，实现强理论性能保证——具体而言，在期望下达到 O(m√n) 的遗憾与约束违反。
• 提供一种实用、快速的算法，避免矩阵求逆，并在数据单遍扫描中完成计算。
• 将该方法推广至多维线性规划场景，并通过随机舍入法证明其可行性。
• 与以往的在线线性规划算法进行比较，展示在实际性能上的改进，尽管理论界限略宽松。

提出的方法

• 该算法在线性规划松弛问题的对偶空间中执行单遍投影随机次梯度下降，利用对偶变量指导原始决策。
• 通过使用对偶问题的等价形式，避免在每一步中求解完整的对偶或原始问题。
• 该方法采用单遍更新规则，步长为 1/√t 或 1/√n，确保无需矩阵求逆即可收敛。
• 通过随机舍入过程，将可能不可行的基于对偶的解转换为可行的整数解。
• 分析采用排列型 Rademacher 复杂度，推导出在两种模型下的遗憾边界：随机输入与随机排列输入。
• 该算法被推广至多维线性规划问题，扩大了其在多背包问题与广义分配问题等场景中的适用性。

实验结果

研究问题

• RQ1 能否设计一种简单、单遍处理的算法，为在线二值整数线性规划问题提供可证明的良好性能？
• RQ2 在随机输入与随机排列输入模型下，此类算法的理论遗憾与约束违反边界是多少？
• RQ3 该算法在实际性能与理论性能上相较于以往的在线线性规划算法表现如何？
• RQ4 该算法能否推广至多维线性规划问题，同时保持强性能保证？
• RQ5 理论遗憾边界是否紧致？能否在不增加计算成本的前提下进一步改进？

主要发现

• 在随机输入与随机排列输入模型下，该算法在无强凸性假设下均实现 O(m√n) 的期望遗憾。
• 在两种模型下，该算法也实现 O(m√n) 的期望约束违反，确保了解的期望可行性。
• 在数值实验中，该算法在小规模 m 与 n 情况下计算时间优于 Gurobi，可在毫秒级内达到近似最优解。
• 尽管其遗憾边界相比某些先前算法多出一个 √m 因子，但由于计算开销更低，该方法在实际性能上表现更优。
• 该算法在保持显著更快计算速度的同时，维持了极强的竞争力比率（例如在 m=8, n=1000 时达到 99.1%），优于 Gurobi 与其他在线算法。
• 即使在大规模问题（如 m=4096, n=10⁵）下，该方法仍保持高效，竞争力比率超过 80%，且计算时间控制在 60 秒以内。