[论文解读] PILAE: A Non-gradient Descent Learning Scheme for Deep Feedforward Neural Networks

Ping Guo, Wang, K.+1 more|arXiv (Cornell University)|Nov 5, 2018

Machine Learning and ELM参考文献 60被引用 14

一句话总结

本文提出PILAE，一种用于深度前馈神经网络的非梯度下降学习方案，通过使用伪逆学习与低秩近似，直接计算编码器和解码器权重，无需反向传播。该方法在显著减少超参数调优的同时，提升了训练效率，展现出作为自动化机器学习（AutoML）领域准自动化替代方案的潜力。

ABSTRACT

In this work, a non-gradient descent learning (NGDL) scheme was proposed for deep feedforward neural networks (DNN). It is known that an autoencoder can be used as the building blocks of the multi-layer perceptron (MLP) DNN, the MLP is taken as an example to illustrate the proposed scheme of pseudoinverse learning algorithm for autoencoder (PILAE) in this paper. The PILAE with low rank approximation is a NGDL algorithm, and the encoder weight matrix is set to be the low rank approximation of the pseudoinverse of the input matrix, while the decoder weight matrix is calculated by the pseudoinverse learning algorithm. It is worth to note that only very few network structure hyper-parameters need to be tuned compared with classical gradient descent learning algorithm. Hence, the proposed algorithm could be regarded as a quasi-automated training algorithm which could be utilized in automated machine learning field. The experimental results show that the proposed learning scheme for DNN could achieve better performance on considering the tradeoff between training efficiency and classification accuracy.

研究动机与目标

• 开发一种用于深度前馈神经网络的非梯度下降学习算法，避免反向传播与迭代优化。
• 与传统基于梯度的方法相比，显著减少对超参数调优的需求。
• 实现适合自动化机器学习（AutoML）应用的准自动化训练。
• 在通过直接权重计算提升训练效率的同时，保持高分类准确率。
• 证明基于伪逆的学习方法在多层感知机（MLP）的深度自编码器架构中应用的可行性。

提出的方法

• 编码器权重矩阵被设定为输入数据矩阵伪逆的低秩近似。
• 解码器权重矩阵通过使用编码器重建数据的伪逆学习算法计算得出。
• 该方法利用奇异值分解（SVD）计算伪逆的低秩近似，以提升计算效率。
• 该架构以自编码器作为基本构建模块，编码器与解码器权重直接从数据推导，无需梯度更新。
• 该方法避免反向传播与迭代优化，转而依赖直接矩阵求逆与基于SVD的近似。
• 该学习方案应用于多层感知机（MLP）网络，将每个自编码器层视为深度网络的组成部分。

实验结果

研究问题

• RQ1 非梯度下降方法是否能在无反向传播的情况下，在深度前馈网络中实现具有竞争力的性能？
• RQ2 与基于梯度的方法相比，使用伪逆与低秩近似如何影响分类准确率与训练速度？
• RQ3 通过这种直接矩阵计算方法，深度学习中超参数调优的需求能在多大程度上减少？
• RQ4 该方法是否能有效应用于基于自编码器的深度网络（如MLP）？
• RQ5 所提出的方案是否适合集成到自动化机器学习（AutoML）流程中？

主要发现

• PILAE方法在基准数据集上实现了具有竞争力的分类准确率，证明了其在无梯度下降情况下的强泛化能力。
• 由于消除了反向传播与迭代优化步骤，训练效率显著提升。
• 相比标准基于梯度的训练，需要调优的超参数数量大幅减少。
• 低秩近似在保持计算可行性的同时，有效维持了模型性能。
• 该方法展现出作为准自动化训练方法的潜力，适用于AutoML应用场景。
• 实验结果证实，PILAE在训练速度与分类准确率之间提供了有利的权衡。