[论文解读] On the boosting ability of top-down decision tree learning algorithm for multiclass classification

Anna Choromanska, Krzysztof Choromański+1 more|arXiv (Cornell University)|May 17, 2016

Imbalanced Data Classification Techniques参考文献 7被引用 4

一句话总结

本文分析了LOMtree算法，这是一种用于多分类的自顶向下决策树学习方法，其目标函数在树深度与准确率之间实现平衡。通过证明该算法具备提升（boosting）能力，表明最大化其目标函数可降低标准的基于熵的准则——香农熵、基尼熵及其改进形式——且其界依赖于这些度量的强严格凹性，尤其对于香农熵，其界与类别数呈对数依赖关系。

ABSTRACT

We analyze the performance of the top-down multiclass classification algorithm for decision tree learning called LOMtree, recently proposed in the literature Choromanska and Langford (2014) for solving efficiently classification problems with very large number of classes. The algorithm online optimizes the objective function which simultaneously controls the depth of the tree and its statistical accuracy. We prove important properties of this objective and explore its connection to three well-known entropy-based decision tree objectives, i.e. Shannon entropy, Gini-entropy and its modified version, for which instead online optimization schemes were not yet developed. We show, via boosting-type guarantees, that maximizing the considered objective leads also to the reduction of all of these entropy-based objectives. The bounds we obtain critically depend on the strong-concavity properties of the entropy-based criteria, where the mildest dependence on the number of classes (only logarithmic) corresponds to the Shannon entropy.

研究动机与目标

• 对LOMtree算法用于多分类决策树学习的潜在目标函数进行理论分析。
• 建立LOMtree目标函数与知名基于熵的分裂准则（香农熵、基尼熵及其改进形式）之间的联系。
• 证明最大化LOMtree目标函数可通过类似提升的保证，降低这些基于熵的准则。
• 研究熵度量的强严格凹性特性如何影响算法的一般化界。
• 在多分类提升与基于熵的目标函数在线优化方面，拓展先前工作的理论理解。

提出的方法

• 在提升框架内进行理论分析，假设每个树节点均存在弱学习器。
• 目标函数同时控制树深度（通过平衡分裂）和统计准确性（通过误差最小化）。
• 利用基于熵准则的强严格凹性特性，推导LOMtree算法的一般化界。
• 关键界通过递归乘积不等式与对数近似推导得出，尤其针对基尼熵与改进基尼熵项。
• 通过四个基准数据集（MNIST、Isolet、Sector、ALOI）的数值实验验证理论结果。
• 使用随机梯度下降（SGD）在Vowpal Wabbit中实现算法，超参数在验证集上进行调优。

实验结果

研究问题

• RQ1 LOMtree目标函数与标准基于熵的决策树准则（如香农熵、基尼熵及其改进形式）之间有何关系？
• RQ2 最大化LOMtree目标函数是否可导致基于熵准则的降低？若可，其理论保证为何？
• RQ3 一般化界对类别数的依赖关系如何，特别是对香农熵而言？
• RQ4 熵度量的强严格凹性特性如何影响多分类设置下提升框架的收敛性与性能？
• RQ5 鉴于实验中改进基尼熵准则收敛更快，能否为其推导出更紧的界？

主要发现

• 最大化LOMtree目标函数可通过类似提升的保证，降低所有三种基于熵的准则——香农熵、基尼熵与改进基尼熵。
• 香农熵的界与类别数呈对数依赖关系，表明其在大规模多分类问题中具有良好的可扩展性。
• 对于基尼熵与改进基尼熵，其界依赖于相应准则的强严格凹性，其中改进版本在实验中表现出更快的收敛速度。
• 理论分析表明，为达到目标误差水平 α，所需分裂数的量级为 (G₁/α)^(32/(η² log₂ e))，其中 G₁ 为初始目标值。
• 数值实验表明，测试误差与基尼熵的变化趋势高度一致，而改进基尼熵下降最快，提示其可能具有更紧的理论界。
• 最坏情况下的初始值为 G₁^e ≤ 2 ln k（香农）、G₁^g ≤ 2(1−1/k)（基尼）、G₁^g ≤ 2√(kC−1)（改进基尼），这些值被用于推导主要定理。