[论文解读] Stochastic Configuration Machines for Industrial Artificial Intelligence

Dianhui Wang, Matthew J. Felicetti|arXiv (Cornell University)|Aug 25, 2023

Machine Learning and ELM被引用 12

一句话总结

SCMs 是一种基于随机配置网络的随机化学习模型，面向工业AI，能够在内存高效训练并具备具竞争力的预测性能以及理论学习能力分析。该工作包含基准与工业数据评估，以及对 IAI 任务模型复杂性的讨论。

ABSTRACT

Real-time predictive modelling with desired accuracy is highly expected in industrial artificial intelligence (IAI), where neural networks play a key role. Neural networks in IAI require powerful, high-performance computing devices to operate a large number of floating point data. Based on stochastic configuration networks (SCNs), this paper proposes a new randomized learner model, termed stochastic configuration machines (SCMs), to stress effective modelling and data size saving that are useful and valuable for industrial applications. Compared to SCNs and random vector functional-link (RVFL) nets with binarized implementation, the model storage of SCMs can be significantly compressed while retaining favourable prediction performance. Besides the architecture of the SCM learner model and its learning algorithm, as an important part of this contribution, we also provide a theoretical basis on the learning capacity of SCMs by analysing the model's complexity. Experimental studies are carried out over some benchmark datasets and three industrial applications. The results demonstrate that SCM has great potential for dealing with industrial data analytics.

研究动机与目标

• 将 SCM 发展为面向工业 AI 任务的节省内存的随机化学习器。
• 通过模型复杂度分析为 SCM 学习能力提供理论基础。
• 在基准数据集和三个工业应用中展示 SCM 的性能与内存节省。
• 将 SCM 与 SCN 与 RVFL 型网络进行比较，以突出精度与存储之间的权衡。

提出的方法

• SCM 将机制模型 P(X,p,u) 与线性回归 L(bar X) 以及具有二进制权重和实值偏置的多层随机网络 H_k(X) 结合起来。
• SCM 学习算法包括监督机制、早停，以及对输入特征的选择性使用以控制模型容量。
• 模型复杂度（MC）被定义用以量化学习表示的丰富性和平滑性，并与一阶通用近似性质相关。
• 训练采用最小二乘读出，使用摩尔-彭若逆及基于 LASSO 的线性权重估计来处理回归分量。
• SCM 中的权重以二进制幅值存储，乘以自适应 λ 进行缩放，以实现内存压缩。
• 学习过程包括候选节点选择、可靠性标准的评估，以及用于平衡网络深度与广度的早停规则。

实验结果

研究问题

• RQ1 在降低内存需求的同时，SCM 是否能达到与 SCN 和 RVFL 相当的预测性能？
• RQ2 所引入的模型复杂度概念如何与 SCM 对非线性函数的近似能力相关？
• RQ3 SCM 是否能够有效将机制/认知模型与 DeepSCN 框架结合以提升工业数据分析？
• RQ4 早停对 SCM 的泛化性与训练效率有何影响？

主要发现

• SCM 通过二进制权重存储实现内存降低，同时保持有利的预测性能。
• 理论分析给出 SCM 相对于目标函数实现一阶通用近似的条件。
• 在基准数据集和三个工业数据集上的实验结果表明 SCM 在工业数据分析中的潜力。
• SCM 提供了机制模型集成（可以是仿真或模糊系统），以提升在 IAI 任务中的认知可解释性。