[论文解读] The Tree Ensemble Layer: Differentiability meets Conditional Computation

Hussein Hazimeh, Natalia Ponomareva+3 more|arXiv (Cornell University)|Feb 18, 2020

Advanced Neural Network Applications参考文献 25被引用 16

一句话总结

该论文提出了树集成层（Tree Ensemble Layer, TEL），一种基于可微决策树的可微神经网络层，通过稀疏平滑激活函数实现真正的条件计算，并优化了前向与反向传播过程。TEL 在先前可微树模型上实现了超过10倍的加速，与梯度提升树相比模型参数量减少了20倍，同时保持了具有竞争力的性能，并支持深度与宽范围树集成模型的联合优化。

ABSTRACT

Neural networks and tree ensembles are state-of-the-art learners, each with its unique statistical and computational advantages. We aim to combine these advantages by introducing a new layer for neural networks, composed of an ensemble of differentiable decision trees (a.k.a. soft trees). While differentiable trees demonstrate promising results in the literature, they are typically slow in training and inference as they do not support conditional computation. We mitigate this issue by introducing a new sparse activation function for sample routing, and implement true conditional computation by developing specialized forward and backward propagation algorithms that exploit sparsity. Our efficient algorithms pave the way for jointly training over deep and wide tree ensembles using first-order methods (e.g., SGD). Experiments on 23 classification datasets indicate over 10x speed-ups compared to the differentiable trees used in the literature and over 20x reduction in the number of parameters compared to gradient boosted trees, while maintaining competitive performance. Moreover, experiments on CIFAR, MNIST, and Fashion MNIST indicate that replacing dense layers in CNNs with our tree layer reduces the test loss by 7-53% and the number of parameters by 8x. We provide an open-source TensorFlow implementation with a Keras API.

研究动机与目标

• 通过在深度架构中实现可微决策树的端到端训练，结合神经网络与树集成的优势。
• 通过稀疏路由机制引入真正的条件计算，解决现有可微树模型的计算低效问题。
• 利用一阶优化方法（如SGD）联合优化深度与宽范围树集成模型，突破梯度提升树中贪婪、分阶段训练的局限。
• 在不牺牲预测性能的前提下，减少模型大小并提升推理效率，尤其在视觉与表格学习任务中表现显著。

提出的方法

• 提出一种新型平滑步长激活函数，实现通过决策树的稀疏、样本特定路由，模拟经典树的行为。
• 设计专用的前向与反向传播算法，利用稀疏性实现最优时间复杂度，且反向传播复杂度与树深度无关。
• 引入可微的软树集成（即软树），可使用基于梯度的优化方法与神经网络其余部分进行端到端训练。
• 采用一阶优化方法（如SGD）联合更新集成中所有树的内部节点决策与叶节点权重，实现紧凑且表达力强的模型。
• 将TEL实现为神经网络中的即插即用层，支持CNN等网络结构，并提供兼容Keras的TensorFlow API，便于实际部署。
• 采用可微路由机制，使每个输入样本仅遍历树结构的一小部分，实现条件计算。

实验结果

研究问题

• RQ1 通过真正的条件计算，可微决策树是否足够高效，可实现与深度神经网络的联合优化？
• RQ2 在可微树中启用条件计算是否相比现有方法在训练与推理中带来显著加速？
• RQ3 通过一阶方法联合优化深度与宽范围树集成模型，是否能产生比梯度提升树中分阶段训练更紧凑、更准确的模型？
• RQ4 TEL在多大程度上可替代CNN中的全连接层，同时减少参数量并提升测试损失表现？
• RQ5 与梯度提升树相比，TEL在树的数量等超参数上的性能敏感度如何？

主要发现

• 在23个分类数据集上，TEL相比现有可微树方法实现了超过10倍的训练与推理加速，归因于高效的稀疏路由与优化的反向传播。
• 在相同数据集上，TEL相比梯度提升树将模型大小减少了20倍以上，同时保持了具有竞争力的AUC性能。
• 在Pima、Heart-C与Spambase数据集上，TEL仅用5棵树即可达到峰值AUC，而GBDT需超过100棵树才能实现相近性能，展现出显著的紧凑性优势。
• 在CNN中，用TEL替换全连接层后，CIFAR-10、MNIST与Fashion-MNIST数据集上的测试损失降低7%–53%，模型参数量减少约8倍，且在CIFAR与Fashion-MNIST上具有统计显著性提升。
• TEL的性能对树的数量的敏感度低于GBDT，表明其在联合优化下具有更稳定、更鲁棒的学习能力。
• 开源的TensorFlow实现（含Keras API）使TEL可实际集成到表格与视觉任务的深度学习流程中。