[论文解读] Neural Decision Trees

Randall Balestriero|arXiv (Cornell University)|Feb 23, 2017

Neural Networks and Applications参考文献 27被引用 19

一句话总结

本文提出神经决策树（NDT），一种可微分架构，通过用多层感知机（MLP）替代传统分裂节点，将决策树与神经网络统一，实现全局优化和端到端训练。该框架通过学习任意非线性决策边界，提升建模能力，并通过哈希神经网络（HNN）架构将分类所需参数数量从 C（Softmax）减少至 log₂(C)。

ABSTRACT

In this paper we propose a synergistic melting of neural networks and decision trees (DT) we call neural decision trees (NDT). NDT is an architecture a la decision tree where each splitting node is an independent multilayer perceptron allowing oblique decision functions or arbritrary nonlinear decision function if more than one layer is used. This way, each MLP can be seen as a node of the tree. We then show that with the weight sharing asumption among those units, we end up with a Hashing Neural Network (HNN) which is a multilayer perceptron with sigmoid activation function for the last layer as opposed to the standard softmax. The output units then jointly represent the probability to be in a particular region. The proposed framework allows for global optimization as opposed to greedy in DT and differentiability w.r.t. all parameters and the input, allowing easy integration in any learnable pipeline, for example after CNNs for computer vision tasks. We also demonstrate the modeling power of HNN allowing to learn union of disjoint regions for final clustering or classification making it more general and powerful than standard softmax MLP requiring linear separability thus reducing the need on the inner layer to perform complex data transformations. We finally show experiments for supervised, semi-suppervised and unsupervised tasks and compare results with standard DTs and MLPs.

研究动机与目标

• 通过可微分的端到端可训练架构，将深度学习与决策树结合，以克服贪婪且不可微分决策树的局限性。
• 通过将决策过程建模为可微分的哈希机制并使用多层感知机，实现树结构的全局优化。
• 通过使用哈希神经网络（HNN）对类别区域进行建模，将分类所需参数数量从标准Softmax的 C 减少至 log₂(C)。
• 通过多层分裂节点实现任意非线性决策函数，提升泛化能力和建模能力。
• 实现与深度学习流水线（如CNN）的无缝集成，适用于半监督聚类等任务。

提出的方法

• 将每个决策树分裂节点替换为独立的多层感知机（MLP），以替代轴对齐或线性分裂，实现倾斜且非线性的决策函数。
• 在所有MLP节点之间强制权重共享，形成哈希神经网络（HNN），其中最后一层使用Sigmoid激活而非Softmax。
• 将HNN的输出定义为输入属于特定区域的概率，最后一层联合表示各区域上的概率分布。
• 使用全局损失函数端到端训练整个架构，以最小化叶节点预测的熵，实现所有参数的联合优化。
• 利用对参数和输入的可微性，使模型可无缝集成到任意可微机器学习流水线中，如包含卷积特征的流水线。
• 利用HNN学习输入空间中不相交区域并集的能力，减少隐藏层中复杂特征变换的需求，提升泛化能力。

实验结果

研究问题

• RQ1 能否通过将分裂节点替换为多层感知机，构建一种可微分且全局优化的决策树架构？
• RQ2 与标准决策树和MLP相比，所提出的神经决策树（NDT）在参数效率和建模能力方面表现如何？
• RQ3 与基于标准Softmax的MLP相比，HNN架构在分类任务中能将所需神经元数量减少多少？
• RQ4 NDT的可微性是否能实现与深度学习流水线（如使用CNN特征）的有效集成？
• RQ5 学习任意非线性决策边界的能力是否能提升无监督和半监督学习任务中的性能？

主要发现

• 所提出的神经决策树（NDT）通过端到端可微训练实现树结构的全局优化，避免了传统贪婪决策树学习中常见的局部最优问题。
• HNN架构将C类分类所需的最小神经元数量从C（Softmax）减少至log₂(C)，显著提升了参数效率。
• 该框架在监督、半监督和无监督任务中均表现出色，实验表明其聚类和分类性能优于标准决策树和MLP。
• 模型的可微性使其可无缝集成到深度学习流水线中，例如将CNN特征与NDT结合，实现鲁棒的半监督聚类。
• HNN能够学习输入空间中任意不相交区域的并集，减少隐藏层中复杂数据变换的需求，提升泛化能力。
• 实验表明，仅使用4个神经元的HNN即可有效建模复杂决策边界，且如图16至图18所示，训练动态（损失和正则化）随时间趋于稳定。