[论文解读] Problem-Driven Scenario Clustering in Stochastic Optimization

Julien Keutchayan, Janosch Ortmann+1 more|arXiv (Cornell University)|Jun 22, 2021

Economic and Environmental Valuation被引用 5

一句话总结

本文提出了一种面向随机优化的问题驱动型情景聚类方法，该方法根据情景对目标函数的影响选择代表性情景，从而最小化实现误差。通过在成本空间而非结果空间中进行聚类，该方法优于基于分布的方法和蒙特卡罗采样，在大幅减少情景集合的同时实现近似最优解——例如，仅用一个情景即可求解设施选址问题，而完整问题则需6小时。

ABSTRACT

In stochastic optimisation, the large number of scenarios required to faithfully represent the underlying uncertainty is often a barrier to finding efficient numerical solutions. This motivates the scenario reduction problem: by find a smaller subset of scenarios, reduce the numerical complexity while keeping the error at an acceptable level. In this paper we propose a novel and computationally efficient methodology to tackle the scenario reduction problem when the error to be minimised is the implementation error, i.e. the error incurred by implementing the solution of the reduced problem in the original problem. Specifically, we develop a problem-driven scenario clustering method that produces a partition of the scenario set. Each cluster contains a representative scenario that best reflects the conditional objective values in each cluster of the partition to be identified. We demonstrate the efficiency of our method by applying it to two challenging stochastic combinatorial optimization problems: the two-stage stochastic network design problem and the two-stage facility location problem. When compared to alternative clustering methods and Monte Carlo sampling, our method is shown to clearly outperform all other methods.

研究动机与目标

• 解决由于情景数量过多导致大规模随机优化问题计算不可行的问题。
• 在最小化实现误差（即简化问题与原始问题最优解之间的差距）的前提下减少情景集合。
• 开发一种利用问题结构（目标函数与约束）的聚类方法，而非依赖于概率分布度量。
• 在两个具有挑战性的组合优化问题——网络设计与设施选址上，展示所提方法的优越性能。
• 提供一种计算高效的替代传统情景缩减的方法，同时考虑问题特定的误差度量。

提出的方法

• 该方法基于情景的条件目标值进行聚类，形成分区，每个聚类由组内最小化期望成本的情景代表。
• 其在成本值空间（ℝ）中操作，而非原始结果空间（ℝ^d），并使用问题的目标函数作为相似性度量。
• 该算法包含两个步骤：(1) 为每个情景求解子问题以计算机会成本；(2) 求解一个混合整数划分问题，以将情景分配至聚类并选择代表。
• 将代表性情景分配概率，形成近似原始问题的简化问题。
• 该方法无需了解底层概率分布，仅依赖情景数据和问题的成本结构。
• 通过两阶段算法实现：首先计算机会成本矩阵，然后求解混合整数规划以识别最优聚类代表。

实验结果

研究问题

• RQ1 是否一种以问题目标函数作为相似性度量的情景缩减方法，能在实现误差方面优于基于分布的聚类？
• RQ2 与在结果空间中聚类相比，在成本空间中聚类对随机整数规划问题的性能如何？
• RQ3 通过问题感知聚类选择的少量代表性情景，是否能在大规模随机问题上实现接近最优的性能？
• RQ4 在使用问题驱动与基于分布的情景缩减时，计算成本与解质量之间的权衡如何？
• RQ5 通过该方法选择的单个代表性情景，在解质量与时间方面，能在多大程度上优于完整情景集？

主要发现

• 在两阶段随机网络设计问题中，CSSC方法仅使用75个情景中的10个，即在超过85%的实例中实现小于10%的最优性间隙，显著优于k-中心点（36%）和蒙特卡罗（1%）。
• 在设施选址问题中，CSSC算法选择单个情景，使解在40分钟内实现小于5%的最优性间隙，而包含100个情景的完整问题需6小时，且在内存受限运行中仍无法收敛。
• CSSC算法在10个实例中始终选择最佳或接近最佳情景，在60%的情况下选择最优情景，100%的情况下选择前三位情景。
• 在K=1时，网络设计问题的平均解质量达到99.7%，优于蒙特卡罗的97.7%和k-中心点的99.3%。
• CSSC算法的计算成本高于简单方法，但所得解质量足以证明其开销合理，尤其在大规模问题中更为显著。
• CSSC方法在多样化问题实例中表现出鲁棒性，即使原始问题因计算不可行而无法完整求解，仍能保持高性能。