[论文解读] SSFN -- Self Size-estimating Feed-forward Network with Low Complexity, Limited Need for Human Intervention, and Consistent Behaviour across Trials

Saikat Chatterjee, Alireza M. Javid+5 more|arXiv (Cornell University)|May 17, 2019

Machine Learning and ELM参考文献 53被引用 9

一句话总结

该论文提出SSFN，一种自适应尺寸估计的前馈神经网络，通过凸优化和随机矩阵结构联合优化网络深度、宽度和权重。其计算复杂度极低（在笔记本电脑上仅需几分钟），在蒙特卡洛试验中表现一致，且超参数调优极少，多数基准测试中准确率具有竞争力——尽管在CIFAR-10上表现不佳，但通过混合CNN-SSFN架构得到缓解。

ABSTRACT

We design a self size-estimating feed-forward network (SSFN) using a joint optimization approach for estimation of number of layers, number of nodes and learning of weight matrices. The learning algorithm has a low computational complexity, preferably within few minutes using a laptop. In addition the algorithm has a limited need for human intervention to tune parameters. SSFN grows from a small-size network to a large-size network, guaranteeing a monotonically non-increasing cost with addition of nodes and layers. The learning approach uses judicious a combination of `lossless flow property' of some activation functions, convex optimization and instance of random matrix. Consistent performance -- low variation across Monte-Carlo trials -- is found for inference performance (classification accuracy) and estimation of network size.

研究动机与目标

• 开发一种算法方法，自动估计前馈神经网络的网络深度和宽度，最大限度减少人工干预。
• 通过从小型网络逐步扩展至大型网络并保持训练成本单调非增的方式，解决架构搜索的组合复杂性问题。
• 确保在独立的蒙特卡洛试验中，推理性能和尺寸估计的一致性，提升可重现性和可靠性。
• 通过利用特定激活函数的“无损流特性”和凸松弛，实现无需人工调参的解析正则化。
• 通过提出融合CNN特征的混合架构，克服在CIFAR-10等困难数据集上的性能局限。

提出的方法

• 采用逐层优化策略，逐步增加层和节点，确保网络扩展时训练成本不增加。
• 利用ReLU基单层网络中的“无损流特性”（LFP），推导多层SSFN的解析正则化参数。
• 通过将权重矩阵结构化为学习组件与随机矩阵实例的组合，将非凸优化问题松弛为凸问题。
• 应用交替方向乘子法（ADMM）高效求解凸优化问题，将计算复杂度降低至笔记本电脑上仅需几分钟。
• 将CNN特征作为SSFN第一层的输入，构建混合系统，提升在CIFAR-10等困难数据集上的性能。
• 使用蒙特卡洛模拟评估在独立运行中尺寸估计和推理准确率的一致性。

实验结果

研究问题

• RQ1 尽管存在随机成分，SSFN为何在多次独立蒙特卡洛试验中仍表现出一致的网络尺寸和性能？
• RQ2 导致SSFN在CIFAR-10等某些数据集上失败的底层数据统计特性是什么？其当前架构存在哪些局限性？
• RQ3 如何在无需超参数调优的情况下推导出解析正则化？无损流特性在此过程中起什么作用？
• RQ4 能否在不增加人工干预的前提下提升SSFN在困难数据集上的性能？何种架构修改可实现此目标？
• RQ5 在各次试验中观察到的尺寸和准确率估计一致性的理论基础是什么？

主要发现

• SSFN在除CIFAR-10外的所有数据集上，均在蒙特卡洛试验中表现出一致的分类准确率和网络尺寸，证明了高度的可重现性。
• 在MNIST数据集上，SSFN准确率达到95.55%，经反向传播微调后提升至97.61%；在Shuttle数据集上准确率达99.82%。
• 在CIFAR-10上，SSFN单独使用时准确率仅为47.21%，远低于当前最先进水平（98.52%），表明存在显著性能局限。
• 混合SSFN-CNN架构将CIFAR-10准确率提升至76.4%，优于独立CNN模型（75.34%），且无需额外超参数调优。
• SSFN学习算法的计算复杂度在标准笔记本电脑上仅需几分钟，确认其在全部八个基准数据集上的低复杂度特性。
• 该方法几乎无需人工干预，多数超参数在不同数据集和任务间保持不变，如表II所示。