[论文解读] Neural Arithmetic Units

Andreas Nygaard Madsen, Alexander Rosenberg Johansen|arXiv (Cornell University)|Jan 14, 2020

Neural Networks and Applications参考文献 17被引用 20

一句话总结

本文提出了两种新型神经网络组件——神经加法单元（NAU）和神经乘法单元（NMU）——旨在实现加法、减法和乘法等精确算术运算，同时提升稳定性、收敛速度和外推能力。NMU是首个支持大隐藏尺寸及正负数值的此类单元，在复杂算术任务上取得了94%的成功率，显著优于先前方法如NALU和NAC。

ABSTRACT

Neural networks can approximate complex functions, but they struggle to perform exact arithmetic operations over real numbers. The lack of inductive bias for arithmetic operations leaves neural networks without the underlying logic necessary to extrapolate on tasks such as addition, subtraction, and multiplication. We present two new neural network components: the Neural Addition Unit (NAU), which can learn exact addition and subtraction; and the Neural Multiplication Unit (NMU) that can multiply subsets of a vector. The NMU is, to our knowledge, the first arithmetic neural network component that can learn to multiply elements from a vector, when the hidden size is large. The two new components draw inspiration from a theoretical analysis of recently proposed arithmetic components. We find that careful initialization, restricting parameter space, and regularizing for sparsity is important when optimizing the NAU and NMU. Our proposed units NAU and NMU, compared with previous neural units, converge more consistently, have fewer parameters, learn faster, can converge for larger hidden sizes, obtain sparse and meaningful weights, and can extrapolate to negative and small values.

研究动机与目标

• 解决神经网络在算术任务中因缺乏算术运算的归纳偏置而导致的外推性能差和不稳定性问题。
• 通过重新设计其组件，在神经算术逻辑单元（NALU）的基础上提升稳定性、收敛速度和可解释性。
• 开发一种新型乘法单元（NMU），能够处理大隐藏尺寸及正负数值，而这是先前单元所无法实现的。
• 在真实任务（如MNIST数字序列处理）中实现通过算术层的可靠反向传播。
• 提出一种基于经验基线的新型成功标准，以更公平地评估算术泛化能力，避免受均方误差指标误导。

提出的方法

• 提出神经加法单元（NAU）作为NALU中NAC₊的更稳定且理论基础更扎实的替代方案，采用简化的参数矩阵和稀疏性正则化。
• 引入神经乘法单元（NMU），通过可微门控机制显式地相乘选定的向量元素，并采用最优初始化。
• 应用稀疏性正则化器（Rz），对NAU中的非零权重施加惩罚，以促进有意义且稀疏的权重模式。
• 采用基于基线模型99%置信区间的成功标准来评估泛化性能，避免误导性的MSE指标。
• 通过精心的初始化和权重约束优化NMU，以改善梯度流动并防止梯度消失或爆炸。
• 在合成算术任务和基于MNIST的序列任务上评估模型，以测试其外推能力和鲁棒性。

实验结果

研究问题

• RQ1 能否设计一种神经网络组件，使其能够可靠地学习并外推精确的算术运算（如加法和乘法）？
• RQ2 NAU和NMU在收敛速度、成功率和对分布外数值的泛化能力方面，与NALU和NAC₊相比表现如何？
• RQ3 稀疏性正则化和恰当初始化在稳定算术神经单元训练中的作用是什么？
• RQ4 NMU是否能有效处理大隐藏尺寸和负数，而这是先前单元所难以应对的？
• RQ5 所提出的成功标准是否比标准MSE损失更能可靠地评估算术泛化能力？

主要发现

• 在复杂函数任务 $t = (x_1 + x_2) \times (x_1 + x_2 + x_3 + x_4)$ 上，NMU取得了94%的成功率，而NAC•仅达13%，NALU为26%。
• NAU的中位收敛迭代次数为14,000次，显著快于NALU（78,000次）和NAC•（59,000次）。
• NMU的稀疏性误差为 $2.6 \times 10^{-8}$，表明其权重高度稀疏且可解释，而NAC•的稀疏性误差为 $7.5 \times 10^{-6}$。
• 移除Rz正则化器后，NAU的成功率下降，尤其是在长序列上，表明其在防止模式崩溃中的关键作用。
• NMU在序列乘法任务中成功外推至长达1000个MNIST数字的序列，展示了其强大的泛化能力。
• 在MNIST乘法变体任务中，NMU在成功率和收敛速度上均优于NAC•，证实其在真实场景中的优越性。