[论文解读] SplineNets: Continuous Neural Decision Graphs

Cem Keskin, Shahram Izadi|arXiv (Cornell University)|Oct 31, 2018

Human Pose and Action Recognition被引用 9

一句话总结

SplineNets 通过将函数权重嵌入低维 B-样条流形中，为卷积神经网络引入了一种连续且可微分的决策机制，实现了动态且分层的条件计算。该方法将 FLOPS 最多降低 3 倍，同时仅使用 32 层、5 个节点和秩-3 投影的 SplineNet 即可达到 ResNet-110 的准确率。

ABSTRACT

We present SplineNets, a practical and novel approach for using conditioning in convolutional neural networks (CNNs). SplineNets are continuous generalizations of neural decision graphs, and they can dramatically reduce runtime complexity and computation costs of CNNs, while maintaining or even increasing accuracy. Functions of SplineNets are both dynamic (i.e., conditioned on the input) and hierarchical (i.e., conditioned on the computational path). SplineNets employ a unified loss function with a desired level of smoothness over both the network and decision parameters, while allowing for sparse activation of a subset of nodes for individual samples. In particular, we embed infinitely many function weights (e.g. filters) on smooth, low dimensional manifolds parameterized by compact B-splines, which are indexed by a position parameter. Instead of sampling from a categorical distribution to pick a branch, samples choose a continuous position to pick a function weight. We further show that by maximizing the mutual information between spline positions and class labels, the network can be optimally utilized and specialized for classification tasks. Experiments show that our approach can significantly increase the accuracy of ResNets with negligible cost in speed, matching the precision of a 110 level ResNet with a 32 level SplineNet.

研究动机与目标

• 通过实现动态且分层的条件计算，解决深度 CNN 的高计算成本问题。
• 通过连续且可微分的分支机制，降低模型推理复杂度，同时不牺牲准确率。
• 通过用连续位置参数替代分类选择，克服传统离散决策网络中的不连续性。
• 通过最大化样条位置与类别标签之间的互信息，优化网络在分类任务中的专业化能力。
• 通过利用平滑且低维的流形结构化网络参数，实现高效的模型压缩与剪枝。

提出的方法

• SplineNets 将无限函数权重（如卷积核）嵌入由 B-样条参数化的连续低维流形中，并通过连续的位置参数进行索引。
• 与离散分支选择不同，样本在样条流形上选择一个连续位置，从而实现可微分且稀疏的网络组件激活。
• 该方法采用统一的损失函数，对网络参数和决策参数均施加平滑性约束，支持端到端训练。
• 网络动态地依赖于输入特征，并分层地依赖于先前的计算路径，实现自适应、上下文感知的计算。
• 通过最大化样条位置与类别标签之间的互信息，使网络更专注于分类任务，提升泛化能力与效率。
• 该框架支持仅动态和分层两种变体，可配置不同的决策机制（如点积、秩-3 节点）和节点数量。

实验结果

研究问题

• RQ1 神经网络中连续且可微分的决策机制是否能降低推理复杂度，同时保持或提升准确率？
• RQ2 与离散分支相比，将函数权重嵌入 B-样条流形在模型效率和泛化能力方面表现如何？
• RQ3 样条位置与标签之间的互信息在多大程度上能提升网络的专业化能力与性能？
• RQ4 当增加样条节点数量时，模型大小、FLOPS 与准确率之间的权衡关系如何？
• RQ5 SplineNets 是否能在显著减少参数量和 FLOPS 的前提下，实现与深度残差网络（如 ResNet-110）相当的性能？

主要发现

• 使用 32 层和 5 个节点的 SplineNets（H(5)-D-R3）在仅使用 4200 万参数的情况下，准确率与 ResNet-110 相当，同时将 FLOPS 减少了近一半。
• 仅动态变体（H(5)-D-R3）在 1000 万参数下达到 93.5% 的准确率，推理速度是 ResNet-110 的三倍。
• 更高效的配置 H(5)-D-R4 在仅 367 万参数下也达到 93.5% 的准确率，且推理速度与大模型几乎相同。
• 在 LeNet 架构上，SplineNets 的推理速度比基线模型快 15 倍，参数量几乎减少为原来的五分之一，同时准确率相当或更优。
• 在增强版 MNIST 上，H-SN(4) 达到 99.71% 的准确率，仅使用 225 万参数，优于 LeNet-32（99.60%），并接近 CapsuleNets（99.75%）的性能，但参数量显著更少。
• 将节点数从 2 增加到 5 显著提升了准确率，对每样本 FLOPS 的影响可忽略，证明了方法的可扩展性与高效性。