[论文解读] Splitting matters: how monotone transformation of predictor variables may improve the predictions of decision tree models

Tal Galili, Isaac Meilijson|arXiv (Cornell University)|Nov 14, 2016

Machine Learning and Data Classification被引用 3

一句话总结

本文挑战了决策树模型对预测变量单调变换具有不变性的普遍观点，表明通过使用中点插值或分位数变换，可降低分裂点附近的插值误差。研究证明，对预测变量进行其累积分布函数（CDF）变换，可将插值误差最高减少50%，尤其在训练数据与测试数据分布不一致时效果显著。

ABSTRACT

It is widely believed that the prediction accuracy of decision tree models is invariant under any strictly monotone transformation of the individual predictor variables. However, this statement may be false when predicting new observations with values that were not seen in the training-set and are close to the location of the split point of a tree rule. The sensitivity of the prediction error to the split point interpolation is high when the split point of the tree is estimated based on very few observations, reaching 9% misclassification error when only 10 observations are used for constructing a split, and shrinking to 1% when relying on 100 observations. This study compares the performance of alternative methods for split point interpolation and concludes that the best choice is taking the mid-point between the two closest points to the split point of the tree. Furthermore, if the (continuous) distribution of the predictor variable is known, then using its probability integral for transforming the variable ("quantile transformation") will reduce the model's interpolation error by up to about a half on average. Accordingly, this study provides guidelines for both developers and users of decision tree models (including bagging and random forest).

研究动机与目标

• 探究决策树模型在样本外插值场景下是否真正对预测变量的单调变换保持不变，特别是当新观测值接近但不在训练数据中时。
• 分析在新观测值接近但不位于训练数据中时，分裂点插值方法对预测误差的影响。
• 评估在不同训练数据条件下，不同插值规则（Sweep Left、Sweep Right 和中点）的有效性。
• 探讨通过经验或理论 CDF（概率积分变换）对预测变量进行变换是否能降低插值误差。
• 为改进决策树、随机森林和袋装模型提供实用指导，包括最优预测变量变换与插值策略

提出的方法

• 提出三种插值规则：Sweep Left（对最小值以上值进行分类）、Sweep Right（仅在最大值处分类）和中点插值（使用最接近分裂点的两个值的平均值）。
• 通过分析和基于模拟的方法，比较不同分布（均匀分布、贝塔分布、双三角分布、正态混合分布）下平均绝对误差（MAE）的插值方法表现。
• 应用概率积分变换（即 $F(X)$）将预测变量转换为均匀随机变量，假设已知或估计了 CDF，以稳定插值性能。
• 在真实分布未知但存在未标记测试数据的情况下，使用经验 CDF（ECDF）进行半参数校正。
• 通过 $10^5$ 次模拟研究估算各种估计器（包括 Rao-Blackwellized 和 Swept 估计器）的 MAE。
• 使用 R 代码和 `edfun` 包（用于快速计算经验 CDF）在真实世界数据（如 weatherAUS 数据集）上验证研究结果

实验结果

研究问题

• RQ1 当新观测值接近但不在训练数据中时，决策树的预测精度是否依赖于分裂点插值方法的选择？
• RQ2 在分裂边界附近，使用多少训练观测值估计分裂点时，误分类误差会如何变化？
• RQ3 是否可以通过对预测变量进行其累积分布函数（CDF）变换来降低决策树模型中的插值误差？
• RQ4 当训练数据与测试数据分布不同时，中点插值规则相较于 Sweep Left 或 Sweep Right 的性能提升有多大？
• RQ5 在半监督或分布外设置下，概率积分变换能在多大程度上提升预测精度？

主要发现

• 当仅使用 10 个训练观测值估计分裂点时，分裂点附近的预测误差可高达 9%，而使用 100 个观测值时可降至 1%。
• 中点插值规则 ($\hat{p}_{SB} = \frac{L+R}{2}$) 始终优于 Sweep Left 和 Sweep Right，某些情况下可将 MAE 降低高达 50%。
• 当训练数据与测试数据来自不同分布时（例如，$X_{train} \sim BT(p)$，$X_{test} \sim U(0,1)$），使用训练数据的 CDF 变换（$F_{train}(X_{train})$）可将插值误差平均降低一半。
• 中点规则的性能具有鲁棒性，且在真实分布未知时通常优于理论贝叶斯估计器。
• 在半参数设置下，使用经验 CDF（ECDF）进行变换可显著降低 MAE，尤其在可利用未标记测试数据估计分布时效果更明显。
• 本研究证实，广泛持有的关于单调变换下不变性的信念在插值场景中并不成立，尤其是在训练数据稀疏或与测试数据不匹配时。