[论文解读] Random Vector Functional Link Neural Network based Ensemble Deep Learning

Rakesh Katuwal, Ponnuthurai Nagaratnam Suganthan+1 more|arXiv (Cornell University)|Jun 30, 2019

Machine Learning and ELM参考文献 40被引用 25

一句话总结

本文提出了一种深度随机向量函数链接（dRVFL）神经网络及其集成变体（edRVFL），通过使用随机生成且固定的隐藏层权重，并采用闭式解计算输出权重，实现了高效的学习。通过堆叠多层随机化网络，并在单次训练中集成集成学习，该框架在多种基准数据集上实现了优越的泛化能力和效率，其准确率和鲁棒性均优于浅层RVFL和传统深度学习模型。

ABSTRACT

In this paper, we propose a deep learning framework based on randomized neural network. In particular, inspired by the principles of Random Vector Functional Link (RVFL) network, we present a deep RVFL network (dRVFL) with stacked layers. The parameters of the hidden layers of the dRVFL are randomly generated within a suitable range and kept fixed while the output weights are computed using the closed form solution as in a standard RVFL network. We also propose an ensemble deep network (edRVFL) that can be regarded as a marriage of ensemble learning with deep learning. Unlike traditional ensembling approaches that require training several models independently from scratch, edRVFL is obtained by training a single dRVFL network once. Both dRVFL and edRVFL frameworks are generic and can be used with any RVFL variant. To illustrate this, we integrate the deep learning networks with a recently proposed sparse-pretrained RVFL (SP-RVFL). Extensive experiments on benchmark datasets from diverse domains show the superior performance of our proposed deep RVFL networks.

研究动机与目标

• 为解决传统基于反向传播的深度神经网络存在的高训练成本、收敛性差和数据饥渴等局限，提出一种基于随机化神经网络的深度学习框架。
• 通过设计更深的网络结构，克服现有多层RVFL网络性能不佳的问题，同时保留RVFL的优势并支持层次化特征学习。
• 开发一种高效的集成方法（edRVFL），在单次训练中实现高性能，无需独立训练多个模型，相比传统集成方法显著降低计算成本。
• 通过将dRVFL和edRVFL框架与稀疏预训练的RVFL变体（SP-RVFL）结合，证明其在多种学习任务中具有通用适用性，提升表征学习能力。
• 在多个领域的真实世界数据集上验证所提模型，结果表明其在准确率和泛化能力方面具有持续优势。

提出的方法

• 提出一种包含多层堆叠隐藏层的深度RVFL（dRVFL）网络，其中隐藏层权重和偏置随机初始化并固定，输出权重通过最小二乘优化的闭式解计算得出。
• 提出一种集成深度学习框架（edRVFL），通过在单次训练中对输入或隐藏层参数施加随机扰动，生成多样化的基模型，避免独立训练多个网络。
• 采用从输入层到输出层的直接跳跃连接（如标准RVFL中所用），以正则化模型，增强特征复用，提升泛化能力，尤其在低数据场景下表现更优。
• 将稀疏预训练RVFL（SP-RVFL）变体集成到深度框架中，其中隐藏层参数通过稀疏自编码器学习而非随机初始化，从而提升特征表示质量。
• 在edRVFL中通过一次前向传播结合多次随机化生成多样化的集成成员，与独立训练多个深度网络相比，显著降低训练成本。
• 采用统计检验（Friedman检验和Nemenyi检验）验证在13个基准数据集上性能提升的显著性。

实验结果

研究问题

• RQ1 基于RVFL原理的深度神经网络架构是否能在多样化的数据集上实现优于浅层RVFL和标准深度网络的泛化能力？
• RQ2 所提出的edRVFL框架是否能在单次训练中实现与传统集成方法相当的性能，同时显著降低训练成本？
• RQ3 将稀疏预训练集成到RVFL框架中，对深度网络和集成深度网络的性能有何影响？
• RQ4 dRVFL和edRVFL框架是否具备足够的通用性，可与多种RVFL变体（如SP-RVFL）结合，以在不同学习任务中提升性能？
• RQ5 dRVFL和edRVFL在多个基准数据集上相较于ELM、RVFL和SP-RVFL等现有模型所取得的性能提升是否具有统计显著性？

主要发现

• dSP-RVFL和edSP-RVFL模型在13个数据集上的平均准确率达到94.29%，显著优于基线SP-RVFL（91.7%），Friedman检验的p值<0.05。
• edSP-RVFL模型在Friedman检验中获得最优平均排名2.03，优于所有其他模型，包括ELM（排名10）和dRVFL（-O）（排名8.73），表明其整体性能更优。
• 在MNIST数据集上，edSP-RVFL达到95.02%的准确率，较SP-RVFL的91.26%提升3.76%，展现出在图像分类任务中的强大性能。
• COIL20数据集上，edSP-RVFL（99.72%）相比dSP-RVFL（98.96%）实现1.0%的准确率提升，凸显集成学习在复杂数据集上的增强效果。
• Nemenyi检验确认，dSP-RVFL和edSP-RVFL均显著优于SP-RVFL，临界差异（CD）为0.92，检验统计量（F_F）为71.23，在α=0.05水平下拒绝原假设。
• edRVFL框架实现了94.29%的平均准确率和2.3的Friedman排名，表明该集成方法在所有测试数据集（包括RCV1和TDT2）上均能持续提升性能。