[论文解读] Neural Status Registers

Lukas Faber, Roger Wattenhofer|arXiv (Cornell University)|Apr 15, 2020

Neural Networks and Applications参考文献 35被引用 4

一句话总结

本文提出了神经状态寄存器（NSR），这是一种可微分的、连续的CPU状态寄存器的松弛形式，能够实现定量推理任务的端到端学习。NSR使神经网络能够外推到远超训练分布的数值，对比较、最小值查找、最短路径以及图像中的数字比较等任务实现高精度预测。

ABSTRACT

Standard Neural Networks can learn mathematical operations, but they do not extrapolate. Extrapolation means that the model can apply to larger numbers, well beyond those observed during training. Recent architectures tackle arithmetic operations and can extrapolate; however, the equally important problem of quantitative reasoning remains unaddressed. In this work, we propose a novel architectural element, the Neural Status Register (NSR), for quantitative reasoning over numbers. Our NSR relaxes the discrete bit logic of physical status registers to continuous numbers and allows end-to-end learning with gradient descent. Experiments show that the NSR achieves solutions that extrapolate to numbers many orders of magnitude larger than those in the training set. We successfully train the NSR on number comparisons, piecewise discontinuous functions, counting in sequences, recurrently finding minimums, finding shortest paths in graphs, and comparing digits in images.

研究动机与目标

• 解决神经网络在超出训练数据范围时外推能力的关键局限，特别是针对数学和定量推理任务。
• 克服标准神经网络在泛化到未见过的数值时的失败，即使对于简单的函数如 f(x) = x 也是如此。
• 设计一种可学习的、可微分的架构组件，支持条件推理和具有系统性外推能力的算术运算。
• 实现结合NSR与其他层（包括循环网络和图神经网络）的端到端模型训练，以支持复杂推理任务。
• 在多种任务中展示NSR的鲁棒性和可扩展性，包括图的最短路径和基于图像的数字比较。

提出的方法

• 提出神经状态寄存器（NSR）作为CPU中使用的数字状态寄存器（例如零标志和符号标志）的连续松弛形式。
• 设计NSR以输出表示比较结果可能性的连续值（例如 x > y，x = 0），从而支持基于梯度的优化。
• 将NSR集成到前馈网络、循环网络和图神经网络架构中，以支持条件性和迭代性推理。
• 使用离散逻辑的可微分近似（例如基于Sigmoid函数的符号标志和零标志松弛）来实现比较操作的反向传播。
• 使用标准反向传播进行NSR的端到端训练，仅在最终任务输出上施加监督，不依赖中间标签。
• 将NSR与其它模块（如用于图像输入的卷积网络和用于图处理的GNN）结合使用，以解决复杂推理任务。

实验结果

研究问题

• RQ1 能否设计一种神经网络层，使其能够学习并外推定量推理操作，如比较和最小值查找？
• RQ2 NSR在多大程度上能泛化到比训练时所见数值大几个数量级的输入？
• RQ3 当NSR集成到循环网络或图神经网络架构中用于最短路径计算等任务时，其性能如何？
• RQ4 NSR能否与其它神经组件（如卷积网络）结合用于端到端训练，以解决如数字比较等任务？
• RQ5 NSR在需要系统性泛化的推理任务中是否优于标准前馈网络？

主要发现

• NSR在数量比较和最小值查找等任务中，能够可靠地外推到远超训练集范围的数值，外推范围可达多个数量级。
• 在图神经网络的最短路径学习任务中，当节点数量增加三倍且边权被放大时，NSR仍保持接近零的误差，显示出对更大输入的鲁棒性。
• 在MNIST数据集上的数字比较任务中，NSR的性能与标准MLP相当，表明其在监督较弱的情况下仍能有效训练前序网络。
• 在图任务中，NSR的性能随边权增大而提升，因为路径长度之间的数值分离度提高，表明比较信号与噪声比更优。
• NSR在分段不连续函数学习和循环计数任务中表现出色，表明其具备系统性理解能力，而非仅记忆模式。
• NSR对超参数选择具有鲁棒性，包括冗余设置和非相等数值间的最小距离，表明其在训练中具有实际稳定性。