[论文解读] NDT: Neual Decision Tree Towards Fully Functioned Neural Graph

Han Xiao|arXiv (Cornell University)|Dec 16, 2017

Neural Networks and Applications参考文献 20被引用 9

一句话总结

本文提出神经决策树（NDT），一种可微分的神经图架构，将基于逻辑的分支（如if-else）与可学习的神经网络相结合。通过使用连续松弛（如$1 - e^{-\alpha|x|}$）近似狄拉克函数，NDT实现了条件定义变量的梯度传播，从而支持复杂、分叉型神经架构的端到端训练。该方法在MNIST和CIFAR-10上实现了最先进性能，验证了其有效性与可微分性。

ABSTRACT

Though traditional algorithms could be embedded into neural architectures with the proposed principle of \cite{xiao2017hungarian}, the variables that only occur in the condition of branch could not be updated as a special case. To tackle this issue, we multiply the conditioned branches with Dirac symbol (i.e. $\mathbf{1}_{x>0}$), then approximate Dirac symbol with the continuous functions (e.g. $1 - e^{-α|x|}$). In this way, the gradients of condition-specific variables could be worked out in the back-propagation process, approximately, making a fully functioned neural graph. Within our novel principle, we propose the neural decision tree extbf{(NDT)}, which takes simplified neural networks as decision function in each branch and employs complex neural networks to generate the output in each leaf. Extensive experiments verify our theoretical analysis and demonstrate the effectiveness of our model.

研究动机与目标

• 解决在基于逻辑分支（如if-else）的神经架构中，条件定义变量难以反向传播的问题，因为这些变量通常不可微分。
• 将神经图框架扩展为完全可微分，从而实现逻辑与神经组件的联合优化。
• 设计一种神经决策树（NDT），其分支使用轻量级神经网络进行决策，叶节点使用复杂网络进行高精度分类。
• 证明神经图架构可实现图灵完备性，支持超越标准深度网络的可学习计算。

提出的方法

• 通过将分支输出与狄拉克函数（$\mathbf{1}_{x>0}$）相乘，引入逻辑流的可微分松弛，并使用连续函数（如$1 - e^{-\alpha|x|}$）进行近似。
• 通过使用松弛后的狄拉克符号对分支网络的输入进行逐元素相乘，重构条件分支（如if-else）。
• 通过连续近似使分支条件可微分，从而实现对条件定义变量的反向传播。
• 在前向传播过程中构建动态可重构的计算图，而在反向传播过程中转换为无分支的连续图，以支持标准梯度计算。
• 在分支中使用简化的神经网络作为决策函数，在叶节点使用更深的网络进行类别特定分类。
• 将该方法应用于图像分类任务，采用分层结构，使粗粒度决策将样本路由至叶节点中的专用子网络。

实验结果

研究问题

• RQ1 能否在神经网络中实现完全可微分的基于逻辑的控制结构（如if-else、循环），以支持端到端训练？
• RQ2 如何在反向传播过程中更新仅在条件分支中引入的变量？
• RQ3 能否构建一种结合逻辑与神经计算的神经图架构，使其具备图灵完备性且可学习？
• RQ4 将神经决策树与分层路由机制结合，是否能在图像分类任务中优于标准深度网络？

主要发现

• 所提出的方法通过使用连续松弛（如$1 - e^{-\alpha|x|}$）近似狄拉克函数，成功实现了对条件定义变量的梯度传播。
• 神经决策树（NDT）在MNIST和CIFAR-10上优于基线模型，证明了分层分叉架构的有效性。
• 神经图框架被证明具备图灵完备性，可构建可学习的图灵机。
• 该方法实现了基于逻辑的组件（如决策树）与神经网络的联合训练，克服了以往工作中此类变量不可训练的关键限制。
• 该方法允许将传统算法（如匈牙利算法、A*搜索）嵌入可微分的神经架构中。
• 该模型在基准数据集上实现了最先进性能，证实了可微分逻辑在神经计算中的理论优势。