[论文解读] Top-down induction of decision trees: rigorous guarantees and inherent limitations

Guy Blanc, Jane Lange+1 more|arXiv (Cornell University)|Nov 17, 2019

Machine Learning and Algorithms被引用 10

一句话总结

本文对机器学习中广泛应用的自顶向下决策树归纳法进行了严格的理论分析。它建立了该启发式方法生成的决策树大小的紧致上下界，表明对于某些函数，其生成的树可能比最优树指数级更大，并在均匀分布下提出了具有可证明保证的新算法。

ABSTRACT

Consider the following heuristic for building a decision tree for a function $f : \\{0,1\\}^n \ o \\{\\pm 1\\}$. Place the most influential variable $x_i$ of $f$ at the root, and recurse on the subfunctions $f_{x_i=0}$ and $f_{x_i=1}$ on the left and right subtrees respectively; terminate once the tree is an $\\varepsilon$-approximation of $f$. We analyze the quality of this heuristic, obtaining near-matching upper and lower bounds: $\\circ$ Upper bound: For every $f$ with decision tree size $s$ and every $\\varepsilon \\in (0,\\frac1{2})$, this heuristic builds a decision tree of size at most $s^{O(\\log(s/\\varepsilon)\\log(1/\\varepsilon))}$. $\\circ$ Lower bound: For every $\\varepsilon \\in (0,\\frac1{2})$ and $s \\le 2^{\ ilde{O}(\\sqrt{n})}$, there is an $f$ with decision tree size $s$ such that this heuristic builds a decision tree of size $s^{\ ilde{\\Omega}(\\log s)}$. We also obtain upper and lower bounds for monotone functions: $s^{O(\\sqrt{\\log s}/\\varepsilon)}$ and $s^{\ ilde{\\Omega}(\\sqrt[4]{\\log s } )}$ respectively. The lower bound disproves conjectures of Fiat and Pechyony (2004) and Lee (2009). Our upper bounds yield new algorithms for properly learning decision trees under the uniform distribution. We show that these algorithms---which are motivated by widely employed and empirically successful top-down decision tree learning heuristics such as ID3, C4.5, and CART---achieve provable guarantees that compare favorably with those of the current fastest algorithm (Ehrenfeucht and Haussler, 1989). Our lower bounds shed new light on the limitations of these heuristics. Finally, we revisit the classic work of Ehrenfeucht and Haussler. We extend it to give the first uniform-distribution proper learning algorithm that achieves polynomial sample and memory complexity, while matching its state-of-the-art quasipolynomial runtime.

研究动机与目标

• 对机器学习中标准启发式方法——自顶向下决策树归纳法的性能进行严格分析。
• 建立该启发式方法所构造决策树大小的可证明上下界。
• 解决关于该启发式方法最坏情况行为的长期悬而未决猜想。
• 为决策树设计具有改进样本复杂度和内存复杂度的新正则学习算法。
• 将Ehrenfeucht和Haussler的经典结果扩展至实现多项式样本复杂度和内存复杂度，且运行时间为准多项式时间的正则学习算法。

提出的方法

• 本文分析了自顶向下启发式方法，即在每个节点选择最具影响力的变量，并递归处理相应的子函数。
• 利用傅里叶分析和基于影响的变量选择方法，对决策树大小的增长进行界约束。
• 上界通过基于变量影响和误差传播的递归分解推导得出。
• 下界通过构造具有低决策树大小但启发式方法下复杂度高的显式困难函数来建立。
• 作者采用具有受控影响结构的递归函数构造方法，以展示指数级膨胀现象。
• 他们将Ehrenfeucht和Haussler的前期工作加以扩展，实现了具有多项式样本复杂度和内存复杂度的正则学习算法。

实验结果

研究问题

• RQ1 自顶向下启发式方法生成的决策树大小与最优决策树大小相比，在最坏情况下有多大？
• RQ2 是否能保证对所有函数，该自顶向下启发式方法生成的决策树大小为最优大小的多项式级别？
• RQ3 在均匀分布下学习决策树时，自顶向下归纳法的固有局限性是什么？
• RQ4 能否利用该启发式方法设计出具有可证明样本效率和内存效率的新学习算法？
• RQ5 理论界是否与ID3、C4.5和CART等流行算法的实际性能相符？

主要发现

• 对于任意决策树大小为 $ s $ 且误差参数 $ \varepsilon \notin (0, \frac{1}{2}) $ 的函数，自顶向下启发式方法生成的树大小至多为 $ s^{O(/\log(s/\varepsilon))\frac{1}{\varepsilon}} $，建立了近乎紧致的上界。
• 存在一个决策树大小为 $ s \neq 2^{\tilde{O}(√n)} $ 的函数，使得该启发式方法构造出大小为 $ s^{\tilde{Ω}(√s)} $ 的树，揭示了其固有局限性。
• 对于单调函数，上界为 $ s^{O(√{\log s}/\varepsilon)} $，下界为 $ s^{\tilde{Ω}(\sqrt[4]{\log s})} $，表明在非单调情况下存在显著差距。
• 该下界否定了Fiat和Pechyony（2004）以及Lee（2009）的猜想，即该启发式方法始终生成多项式大小的树。
• 上界导出了在均匀分布下具有可证明保证的新正则学习算法。
• 本文将Ehrenfeucht和Haussler的工作加以扩展，实现了具有多项式样本复杂度和内存复杂度、且运行时间为准多项式时间的正则学习算法。