[论文解读] Online Mixed-Integer Optimization in Milliseconds

Dimitris Bertsimas, Bartolomeo Stellato|arXiv (Cornell University)|Jul 4, 2019

Advanced Bandit Algorithms Research被引用 15

一句话总结

本文提出 MLOPT，一种基于机器学习的方法，可在不足 1 毫秒内求解在线混合整数二次优化（MIQO）问题。通过将最优解编码为“策略”并使用神经网络进行预测，该方法将在线阶段简化为单次预分解线性系统求解，相较于 Gurobi 在燃料电池管理与运动规划等实际问题上实现了 2–3 个数量级的速度提升。

ABSTRACT

We propose a method to solve online mixed-integer optimization (MIO) problems at very high speed using machine learning. By exploiting the repetitive nature of online optimization, we are able to greatly speedup the solution time. Our approach encodes the optimal solution into a small amount of information denoted as strategy using the Voice of Optimization framework proposed in [BS21]. In this way the core part of the optimization algorithm becomes a multiclass classification problem which can be solved very quickly. In this work, we extend that framework to real-time and high-speed applications focusing on parametric mixed-integer quadratic optimization (MIQO). We propose an extremely fast online optimization algorithm consisting of a feedforward neural network (NN) evaluation and a linear system solution where the matrix has already been factorized. Therefore, this online approach does not require any solver nor iterative algorithm. We show the speed of the proposed method both in terms of total computations required and measured execution time. We estimate the number of floating point operations (flops) required to completely recover the optimal solution as a function of the problem dimensions. Compared to state-of-the-art MIO routines, the online running time of our method is very predictable and can be lower than a single matrix factorization time. We benchmark our method against the state-of-the-art solver Gurobi obtaining from two to three orders of magnitude speedups on examples from fuel cell energy management, sparse portfolio optimization and motion planning with obstacle avoidance.

研究动机与目标

• 实现在线混合整数二次优化（MIQO）问题的实时、高速求解。
• 消除在线执行过程中对迭代求解器或矩阵分解的依赖。
• 开发一种框架，实现在保持较低次优性和不可行性的同时，实现亚毫秒级的求解时间。
• 使在线 MIO 在时间敏感的应用（如运动规划与能效管理）中具备实用性。
• 通过固定浮点运算复杂度，实现可预测、可分析的在线计算时间。

提出的方法

• 利用优化之声（Voice of Optimization）框架，将最优解编码为参数化 MIQO 问题的离散‘策略’。
• 采用前馈神经网络，从问题参数中预测最优策略。
• 通过预分解的 KKT 矩阵将最终求解阶段替换为单次线性系统求解，避免运行时的矩阵分解。
• 通过大规模 MILO 近似实施‘策略剪枝’，将策略数量减少至 100–10,000，同时控制次优性和不可行性。
• 离线缓存所有可能策略的预分解 KKT 矩阵，使运行时仅需执行纯矩阵-向量运算。
• 推导出与输入参数无关的精确浮点运算（flop）计数，确保执行时间的可预测性。

实验结果

研究问题

• RQ1 能否使用机器学习在 1 毫秒内求解在线 MIQO 问题？
• RQ2 基于神经网络的策略预测器能否消除在线 MIQO 中对迭代求解器的需求？
• RQ3 如何高效地制定并求解策略剪枝问题，以在减少策略数量的同时保持解的质量？
• RQ4 在线阶段的精确计算复杂度是多少？与分支定界法相比有何差异？
• RQ5 所提方法能否在实时应用中实现相较于 Gurobi 等先进求解器的显著加速？

主要发现

• MLOPT 实现了低于 1 毫秒的在线求解时间，实测执行时间在运动规划与燃料电池问题上相较于 Gurobi 最快达 1,000 倍。
• 该方法将在线计算简化为单次预分解线性系统求解，运行时无需矩阵分解或迭代优化。
• 在所有基准问题中，MLOPT 保持的次优性与 Gurobi 的启发式方法相当或更优，且不可行性处于可接受的容差范围内。
• 策略剪枝将策略数量减少至 100–10,000，同时使平均次优性和不可行性保持在用户定义的容差范围内。
• 浮点运算总数被精确界定且与输入参数无关，确保了可预测且可靠的性能。
• 在包含 10 个障碍物的运动规划问题中，MLOPT 平均求解时间为 0.0614 秒，而 Gurobi 需 809 秒，速度提升达 13,000 倍。