[论文解读] Optimization with Constraint Learning: A Framework and Survey

Adejuyigbe O. Fajemisin, Donato Maragno+1 more|arXiv (Cornell University)|Oct 5, 2021

Constraint Satisfaction and Optimization被引用 4

一句话总结

本文提出了一种用于约束学习优化（OCL）的结构化五步框架，使从业者能够在缺乏显式公式化表达时系统地从数据中学习约束。该研究综述了近期的OCL文献，识别出模型选择与嵌入方面的趋势，并强调了在不确定性整合、高效求解器兼容性以及模型验证方面存在的关键挑战与机遇，以实现稳健的优化结果。

ABSTRACT

Many real-life optimization problems frequently contain one or more constraints or objectives for which there are no explicit formulas. If data is however available, these data can be used to learn the constraints. The benefits of this approach are clearly seen, however there is a need for this process to be carried out in a structured manner. This paper therefore provides a framework for Optimization with Constraint Learning (OCL) which we believe will help to formalize and direct the process of learning constraints from data. This framework includes the following steps: (i) setup of the conceptual optimization model, (ii) data gathering and preprocessing, (iii) selection and training of predictive models, (iv) resolution of the optimization model, and (v) verification and improvement of the optimization model. We then review the recent OCL literature in light of this framework, and highlight current trends, as well as areas for future research.

研究动机与目标

• 将无法获得显式公式化表达的优化问题中从数据学习约束的过程形式化。
• 为OCL提供一个全面、分步的框架，以指导从业者并减少方法论上的陷阱。
• 基于所提出的框架，回顾并分类近期关于约束学习的文献，识别出常见方法与研究空白。
• 突出在不确定性感知建模、高效求解器集成以及所学约束的正式验证方面尚未充分探索的机会。
• 通过提供一个统一的参考，支持更广泛的运筹学社区在优化中进行约束学习。

提出的方法

• 该框架包含五个阶段：(i) 概念模型构建，(ii) 数据收集与预处理，(iii) 预测模型的选择与训练，(iv) 嵌入机器学习约束的优化模型求解，以及 (v) 验证与迭代改进。
• 使用回归树、神经网络和符号回归等预测模型，从可行/不可行数据中学习约束，避免显式推导公式。
• 该框架强调将机器学习模型作为数学优化中的约束嵌入，与代理建模或参数预测区分开来。
• 该框架不包括专注于学习完整问题结构（如CP模型学习）、SMT或不确定性集学习的方法，仅聚焦于特定约束的学习。
• 作者提倡未来研究应关注不确定性感知优化、高效求解器集成（如隐藏非必要网络组件），以及所学模型的正式验证。
• 提出主动学习与自适应采样作为策略，以在最小数据量下提升模型质量，平衡探索与利用。

实验结果

研究问题

• RQ1 如何系统化地组织约束学习，以避免在现实优化中采用临时性方法？
• RQ2 哪些预测建模技术在约束学习中最为有效且可嵌入优化框架？
• RQ3 如何有意义地将预测模型中的不确定性整合到优化中，以提升鲁棒性？
• RQ4 将复杂模型（如深度神经网络）嵌入优化求解器时面临哪些计算挑战，如何缓解？
• RQ5 如何对所学的约束模型进行正式验证并迭代改进，以确保其可靠性与性能？

主要发现

• 所提出的OCL框架为从数据中学习约束提供了结构化、可重复的过程，降低了建模不一致或次优的风险。
• 神经网络、决策树和符号回归是目前最常用于学习约束的方法，尽管较少被探索的技术可能具有优势。
• 通过鲁棒优化或随机规划将不确定性度量（如Softmax分数、误分类数量）整合到优化中，仍处于研究空白但前景广阔。
• 高效地将机器学习模型嵌入求解器——例如隐藏非必要激活函数——可显著提升计算性能。
• 需要类似神经网络的正式验证框架来确保所学约束的可靠性和解的鲁棒性。
• 集成方法在约束学习中尚未被充分使用，尽管其在其他机器学习应用中表现出卓越的预测性能。