[论文解读] Random vector functional link network: recent developments, applications, and future directions

Anshika Malik, Ruobin Gao+3 more|arXiv (Cornell University)|Feb 13, 2022

Machine Learning and ELM被引用 6

一句话总结

本文对随机向量函数链接（RVFL）网络进行了全面综述，涵盖其从浅层到深层及集成变体的演进，重点讨论了快速训练、通用逼近能力以及在回归、分类和函数逼近中的应用。文章识别出关键挑战，如随机特征导致的不稳定性，并提出未来研究方向，包括超参数优化、特征选择，以及在图数据和在线学习中的适应性。

ABSTRACT

Neural networks have been successfully employed in various domains such as classification, regression and clustering, etc. Generally, the back propagation (BP) based iterative approaches are used to train the neural networks, however, it results in the issues of local minima, sensitivity to learning rate and slow convergence. To overcome these issues, randomization based neural networks such as random vector functional link (RVFL) network have been proposed. RVFL model has several characteristics such as fast training speed, direct links, simple architecture, and universal approximation capability, that make it a viable randomized neural network. This article presents the first comprehensive review of the evolution of RVFL model, which can serve as the extensive summary for the beginners as well as practitioners. We discuss the shallow RVFLs, ensemble RVFLs, deep RVFLs and ensemble deep RVFL models. The variations, improvements and applications of RVFL models are discussed in detail. Moreover, we discuss the different hyperparameter optimization techniques followed in the literature to improve the generalization performance of the RVFL model. Finally, we give potential future research directions/opportunities that can inspire the researchers to improve the RVFL's architecture and learning algorithm further.

研究动机与目标

• 为研究人员和从业者提供RVFL模型演进与应用的系统性、最新综述。
• 识别并分析RVFL性能中的关键挑战，如随机特征生成引起的不稳定性及泛化能力不足。
• 探索将集成学习与深度学习技术融入RVFL以提升鲁棒性与准确性的方法。
• 突出尚未充分探索的研究方向，包括在线学习、图数据处理及多标签学习。
• 倡导对随机神经网络建立标准化基准，以实现跨数据集和指标的公平性能比较。

提出的方法

• 对RVFL变体（包括浅层、集成、深层及集成-深层RVFL模型）进行系统性文献综述。
• 分析超参数优化技术，如贝叶斯优化与逐层调优，以提升泛化能力。
• 考察特征选择与剪枝方法，以减少随机特征带来的冗余信息。
• 研究降维与双重正则化策略，以应对高维随机特征的处理问题。
• 探索在RVFL中直接引入连接，以捕捉输入-输出关系中的一阶导数信息。
• 讨论RVFL在图结构数据及时空时间序列上的潜在适应性，通过新型架构扩展实现。

实验结果

研究问题

• RQ1 集成与深层RVFL架构如何在泛化能力和性能上优于标准RVFL模型？
• RQ2 哪些超参数优化技术在提升RVFL模型准确率与稳定性方面最为有效？
• RQ3 如何有效选择或剪枝冗余或低质量的随机特征以提升RVFL性能？
• RQ4 RVFL在非独立同分布数据（如图结构或时空时间序列）上有哪些可行的适应方法？
• RQ5 有哪些可行路径可将RVFL扩展至无监督学习、多标签学习和在线学习场景？

主要发现

• RVFL网络因隐藏层中采用随机权重及输出权重的解析解，实现快速训练与通用逼近能力。
• 集成与深层RVFL模型相较于单个RVFL网络，在性能与稳定性方面有显著提升。
• 采用贝叶斯优化进行逐层超参数调优，可增强集成深层RVFL（edRVFL）模型的泛化能力。
• 特征选择与剪枝技术可减少随机特征带来的噪声，提升模型效率与准确性。
• 通过降维或双重正则化策略，可有效管理来自信号分解的高维随机特征。
• 亟需建立标准化基准，以实现随机神经网络在不同数据集与指标间的公平性能比较。