[论文解读] Quant-BnB: A Scalable Branch-and-Bound Method for Optimal Decision Trees with Continuous Features

Rahul Mazumder, Meng Xiang+1 more|arXiv (Cornell University)|Jun 23, 2022

Machine Learning and Data Classification被引用 5

一句话总结

Quant-BnB 是一种新颖的分支定界算法，可实现具有连续特征的回归与分类任务中可扩展的、精确的最优决策树学习。通过利用特征分位数来划分搜索空间并计算紧致的上下界，该方法实现了显著的加速——在先前的 MIP 和动态规划方法超时的大规模数据集上，可在 10 秒内求解深度为 2 的决策树。

ABSTRACT

Decision trees are one of the most useful and popular methods in the machine learning toolbox. In this paper, we consider the problem of learning optimal decision trees, a combinatorial optimization problem that is challenging to solve at scale. A common approach in the literature is to use greedy heuristics, which may not be optimal. Recently there has been significant interest in learning optimal decision trees using various approaches (e.g., based on integer programming, dynamic programming) -- to achieve computational scalability, most of these approaches focus on classification tasks with binary features. In this paper, we present a new discrete optimization method based on branch-and-bound (BnB) to obtain optimal decision trees. Different from existing customized approaches, we consider both regression and classification tasks with continuous features. The basic idea underlying our approach is to split the search space based on the quantiles of the feature distribution -- leading to upper and lower bounds for the underlying optimization problem along the BnB iterations. Our proposed algorithm Quant-BnB shows significant speedups compared to existing approaches for shallow optimal trees on various real datasets.

研究动机与目标

• 解决现有方法在具有连续特征的最优决策树学习中缺乏可扩展性和精确性的不足。
• 开发一种独立的、与求解器无关的分支定界算法，能够同时处理回归与分类任务。
• 提升在大规模具有连续特征的数据集上浅层最优决策树（深度 ≤ 3）的计算效率。
• 弥合决策树学习中理论最优性与实际可扩展性之间的差距。

提出的方法

• 利用特征分布的分位数将搜索空间划分为子区域，以支持分支定界探索。
• 通过 W1,s′（公式 13）动态计算下界，有效剪除次优子树。
• 提出一种基于分位数分割的新型上界估计策略，以引导搜索过程。
• 采用基于上下界剪枝的深度优先搜索策略，避免依赖商业 MIP 求解器。
• 原生处理连续特征与二值特征，无需二值化，从而保留特征结构。
• 使用 CART 的结果作为热启动以加速收敛，并根据每个节点动态调整参数 s′。

实验结果

研究问题

• RQ1 分支定界方法是否能在大规模场景下实现具有连续特征的最优决策树的精确求解？
• RQ2 与现有方法相比，基于分位数的搜索空间分解在提升边界质量与剪枝效率方面有何改进？
• RQ3 独立的 BnB 算法是否能在大规模具有连续特征的数据集上超越 MIP 和动态规划方法？
• RQ4 在回归与分类任务中，Quant-BnB 相较于 SOTA 方法（如 ORT、GOSDT 和 BinOCT）的性能提升如何？

主要发现

• 在包含最多 159,874 个样本的数据集上，Quant-BnB 在 10 秒内完成了所有深度为 2 的回归树求解，而 ORT 在 4 小时后仍超时。
• 在 news 数据集（31,715 个样本）上，Quant-BnB 在 349 秒内完成深度为 2 的树学习，而 ORT 耗时 2896 秒（提速 8.3 倍）。
• 对于深度为 3 的树，Quant-BnB 在 11 个回归数据集中的 8 个上于 20 秒内获得最优解，而 ORT 在 4 小时内未能求解任何一个。
• 在分类任务中，Quant-BnB 达到了或超过了二值化方法（如 MDLP）的最优准确率，并在多个数据集上优于 CART。
• 在 skin 数据集上（深度为 3），Quant-BnB 实现了 96.6% 的训练准确率，与二值化方法的最优性能相当，但无需进行特征转换。
• Quant-BnB 展现出良好的鲁棒性与可扩展性，在超过 150,000 个样本的数据集上，可在 10 分钟内求解深度为 2 的树，显著优于现有精确方法。