[论文解读] Neural Networks with Smooth Adaptive Activation Functions for Regression

Le Hou, Dimitris Samaras+3 more|arXiv (Cornell University)|Aug 23, 2016

Neural Networks and Applications参考文献 25被引用 14

一句话总结

本文提出平滑自适应激活函数（SAAFs），一种基于分段多项式的自适应激活函数，用于前馈神经网络的回归任务。SAAFs 通过参数正则化实现灵活的函数逼近，同时确保利普希茨连续性，从而限制模型复杂度并减少过拟合。该方法在多个回归基准测试中达到最先进性能，包括面部吸引力预测和细胞核圆形度估计。

ABSTRACT

In Neural Networks (NN), Adaptive Activation Functions (AAF) have parameters that control the shapes of activation functions. These parameters are trained along with other parameters in the NN. AAFs have improved performance of Neural Networks (NN) in multiple classification tasks. In this paper, we propose and apply AAFs on feedforward NNs for regression tasks. We argue that applying AAFs in the regression (second-to-last) layer of a NN can significantly decrease the bias of the regression NN. However, using existing AAFs may lead to overfitting. To address this problem, we propose a Smooth Adaptive Activation Function (SAAF) with piecewise polynomial form which can approximate any continuous function to arbitrary degree of error. NNs with SAAFs can avoid overfitting by simply regularizing the parameters. In particular, an NN with SAAFs is Lipschitz continuous given a bounded magnitude of the NN parameters. We prove an upper-bound for model complexity in terms of fat-shattering dimension for any Lipschitz continuous regression model. Thus, regularizing the parameters in NNs with SAAFs avoids overfitting. We empirically evaluated NNs with SAAFs and achieved state-of-the-art results on multiple regression datasets.

研究动机与目标

• 通过在倒数第二层应用自适应激活函数（AAF），减少回归神经网络中的模型偏差。
• 通过引入具有有界复杂度的平滑参数化激活函数，解决现有 AAF 中常见的过拟合问题。
• 通过证明在参数正则化下 SAAFs 能够产生利普希茨连续模型，确保回归任务中的泛化能力。
• 通过实证验证 SAAFs 在多样化回归数据集上相对于固定和非自适应激活函数的优越性。

提出的方法

• 提出一种具有分段多项式形式的平滑自适应激活函数（SAAF），可对任意连续函数以任意精度逼近。
• 将 SAAFs 定义为基函数的线性组合，其中二阶导数由可学习权重控制，从而实现形状自适应性。
• 证明当 SAAF 参数的范数有界时，基于 SAAF 的网络具有利普希茨连续性，从而确保模型复杂度有界。
• 通过使用胖-破碎维度推导模型复杂度的上界，并借助对 SAAF 参数的 L2 正则化使该上界最小化。
• 将 SAAFs 应用于前馈网络的最后隐藏层，使网络能够学习任务特定的激活形状，从而提升回归性能。
• 对 SAAF 参数施加 L2 正则化以控制平滑性并防止过拟合，利用利普希茨性质实现泛化。

实验结果

研究问题

• RQ1 与固定激活函数相比，应用于回归层的自适应激活函数是否能显著降低模型偏差？
• RQ2 具有分段多项式结构的平滑自适应激活函数是否能对复杂回归函数实现高逼近精度？
• RQ3 SAAFs 中的参数正则化是否能有效控制模型复杂度并在回归任务中防止过拟合？
• RQ4 SAAFs 是否能在多样化回归数据集上泛化得优于现有 AAF 和非自适应激活函数？

主要发现

• SAAFc2 变体在 LSP 人体姿态估计数据集上实现了最低的 RMSE（3.801）和最高的相关系数（0.745），优于所有基线方法。
• 在面部吸引力预测数据集中，SAAFc2 实现了 RMSE 为 3.801 和相关系数为 0.745，接近观察者间的一致性水平。
• 在病理图像中细胞核圆形度估计任务中，R-SAAFc1 实现了 RMSE 为 0.483 和相关系数为 0.649，显著优于基于直接分割的计算方法（RMSE 0.609）。
• 理论分析证明，在参数范数有界条件下，SAAFs 能产生利普希茨连续模型，从而导致有限的胖-破碎维度，降低过拟合风险。
• 实证结果表明，即使在使用 5000 个多项式分段和仅 21 个训练样本的情况下，SAAFs 仍能实现良好泛化，归因于对二阶导数的高效正则化。
• SAAF 框架在所有测试的回归数据集上均持续实现了最先进性能，包括姿态估计、面部吸引力预测和细胞核形态预测。