[论文解读] Optimal binning: mathematical programming formulation
本文提出了一种新颖的凸混合整数规划（MIP）公式，用于最优分箱，支持二值、连续和多分类目标，并严格处理单调性及最小分箱大小等约束。通过数学规划实现最优解，其速度与质量优于启发式方法，尤其在处理复杂单调趋势时表现更优，已在开源的OptBinning库中实现。
The optimal binning is the optimal discretization of a variable into bins given a discrete or continuous numeric target. We present a rigorous and extensible mathematical programming formulation for solving the optimal binning problem for a binary, continuous and multi-class target type, incorporating constraints not previously addressed. For all three target types, we introduce a convex mixed-integer programming formulation. Several algorithmic enhancements, such as automatic determination of the most suitable monotonic trend via a Machine-Learning-based classifier and implementation aspects are thoughtfully discussed. The new mathematical programming formulations are carefully implemented in the open-source python library OptBinning.
研究动机与目标
- 开发一种严格且可扩展的数学规划公式，用于解决多种目标类型的最优分箱问题。
- 解决以往最优分箱中未处理的约束，包括单调性、最小分箱大小以及连续目标的最大p值。
- 通过基于机器学习的分类器自动检测最优单调趋势（如峰值或谷值）。
- 通过算法优化与高效求解器集成，提供可扩展的大规模数据集解决方案。
- 通过提供全面且生产就绪的实现，弥合开源与商业最优分箱工具之间的差距。
提出的方法
- 将最优分箱建模为凸混合整数规划（MIP），根据约束条件采用整数线性（ILP）或二次（MIQP）变体。
- 基于决策树的预分箱步骤生成初始分割点，从m个分割点生成n个预分箱。
- 使用二值下三角矩阵X_ij作为决策变量表示分箱合并，起始于对角线（所有预分箱被选中）。
- 引入约束条件，包括最小与最大分箱大小、单调性（递增、递减、峰值、谷值）以及连续目标的最大p值。
- 引入机器学习分类器，基于数据模式自动选择最优单调趋势（如峰值或谷值）。
- 实现预处理算法，并利用现代求解器（Google OR-Tools、LocalSolver）高效求解大规模实例。
实验结果
研究问题
- RQ1能否开发一种统一的数学规划公式，同时求解二值、连续和多分类目标的最优分箱问题？
- RQ2如何在最优分箱中严格建模复杂约束，如单调趋势（包括非标准的峰值/谷值）？
- RQ3通过机器学习实现的自动单调趋势检测对解的质量与计算效率有何影响？
- RQ4在大规模最优分箱问题中，现代MIP与局部搜索求解器的性能如何比较？
- RQ5算法优化（如预处理与求解器特定优化）在多大程度上可减少真实数据集的求解时间？
主要发现
- 所提出的公式通过凸MIP在所有目标类型（二值、连续、多分类）上均实现最优解，解的质量与约束处理能力显著优于以往方法。
- 在峰值单调趋势下，LocalSolver在5秒内找到最优解，比CP-SAT快28倍，显示出在复杂组合结构上的优越性能。
- 在100个预分箱实例中，峰值趋势下LocalSolver在30秒内达到最优解，而CP-SAT在1000秒内未能找到最优解。
- 通过机器学习实现的自动单调趋势检测显著降低了求解时间，尤其在非标准趋势（如峰值或谷值）下效果明显。
- 连续目标的优化问题在0.25秒内完成求解，其中71%的时间用于分类变量的预处理。
- 开源的OptBinning库成功实现了该公式，支持可复现性与生产工作流中的集成。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。