[论文解读] Smooth activations and reproducibility in deep networks

Gil I. Shamir, Dong Lin+1 more|arXiv (Cornell University)|Oct 20, 2020

Advanced Neural Network Applications参考文献 32被引用 7

一句话总结

本文提出了一种新型平滑、单调的激活函数家族——SmeLU（Smooth ReLU），旨在改善深度神经网络中的准确率-可复现性权衡。通过用非平滑的ReLU替换为SmeLU，该方法确保了梯度的连续性并提升了收敛稳定性，从而显著降低了在相同数据上训练的相同模型之间的预测差异，尤其在大规模和分布式训练设置中表现显著。

ABSTRACT

Deep networks are gradually penetrating almost every domain in our lives due to their amazing success. However, with substantive performance accuracy improvements comes the price of \emph{irreproducibility}. Two identical models, trained on the exact same training dataset may exhibit large differences in predictions on individual examples even when average accuracy is similar, especially when trained on highly distributed parallel systems. The popular Rectified Linear Unit (ReLU) activation has been key to recent success of deep networks. We demonstrate, however, that ReLU is also a catalyzer to irreproducibility in deep networks. We show that not only can activations smoother than ReLU provide better accuracy, but they can also provide better accuracy-reproducibility tradeoffs. We propose a new family of activations; Smooth ReLU (\emph{SmeLU}), designed to give such better tradeoffs, while also keeping the mathematical expression simple, and thus implementation cheap. SmeLU is monotonic, mimics ReLU, while providing continuous gradients, yielding better reproducibility. We generalize SmeLU to give even more flexibility and then demonstrate that SmeLU and its generalized form are special cases of a more general methodology of REctified Smooth Continuous Unit (RESCU) activations. Empirical results demonstrate the superior accuracy-reproducibility tradeoffs with smooth activations, SmeLU in particular.

研究动机与目标

• 解决深度学习中日益严重的不可复现性问题，即在相同数据上训练的相同模型在单个样本上的预测结果存在分歧。
• 识别ReLU是不可复现性的关键贡献因素，因其在零点处的非平滑、不可导梯度会放大对训练顺序和优化动态的敏感性。
• 开发一类新的平滑激活函数——SmeLU及其泛化形式，其在保持ReLU计算简单性的同时，实现连续梯度和优化稳定性。
• 通过实证结果表明，SmeLU等平滑激活函数在多种训练设置和数据集上，相比ReLU及其他流行平滑激活函数（如GELU、Swish、Mish），在准确率-可复现性权衡上表现更优。

提出的方法

• 提出SmeLU作为ReLU的可微分、单调近似，其输出从零平滑过渡到线性输出，通过可学习或固定的类似温度的参数β控制平滑度。
• 设计SmeLU以保持ReLU的计算效率，同时确保梯度连续，降低对训练顺序和优化路径的敏感性。
• 将SmeLU推广为更广泛的激活函数家族，基于REctified Smooth Continuous Unit（RESCU）框架，实现平滑度、非线性和梯度行为之间的灵活权衡。
• 在两种设置下评估SmeLU及其他激活函数：大规模在线CTR预测（使用Adagrad和渐进验证）以及标准MNIST分类（使用Adagrad和SGD，配合数据增强和Dropout）。
• 将预测差异（PD）作为模型初始化和训练顺序的函数进行测量，使用归一化至真实标签的相对PD（Δ₁ʳ）来量化不可复现性。
• 使用权重归一化和消融研究，将激活平滑度的影响与其他优化因素分离，确认仅平滑度本身即可提升可复现性。

实验结果

研究问题

• RQ1 ReLU的非平滑性在分布式系统中训练的深度网络中，对预测不可复现性的贡献程度如何？
• RQ2 平滑激活函数能否在保持低计算成本的同时，实现优于ReLU的准确率-可复现性权衡？
• RQ3 在不同训练配置下，SmeLU、GELU、Swish、Mish等不同平滑激活函数在预测差异和准确率方面的表现如何比较？
• RQ4 是否存在一种简单、高效的激活函数，能在准确率和可复现性方面匹配或超越复杂平滑激活函数的性能？

主要发现

• ReLU在大规模CTR预测任务中表现出高度不可复现性，即使模型初始化相同，其平均相对预测差异（PD）超过12%。
• 在相同大规模设置下，SmeLU将相对PD降低至5%以下，显著提升了可复现性，且未牺牲准确率。
• 在MNIST数据集上，ReLU在Adagrad下PD超过10%，在SGD下超过30%；而SmeLU及其他平滑激活函数显著降低了PD，且SmeLU在两项指标上均优于ReLU。
• 在所有平滑激活函数中，SmeLU在高可变性训练设置下，相比GELU、Swish、Mish和TanhExp，实现了更优的准确率与可复现性平衡。
• 即使不使用权重归一化或梯度裁剪，SmeLU等平滑激活函数也能在保持或提升准确率的同时，大幅减少预测差异，表明平滑度本身即可提升优化稳定性。
• 结果表明，尽管SmeLU结构简单、计算成本低，其性能仍可与甚至优于更复杂的平滑激活函数，验证了其作为ReLU有效且实用替代方案的设计合理性。