[论文解读] Review of Applications of Generalized Regression Neural Networks in Identification and Control of Dynamic Systems

Ahmad Jobran Al-Mahasneh, Sreenatha G. Anavatti+1 more|arXiv (Cornell University)|May 29, 2018

Fault Detection and Control Systems参考文献 3被引用 32

一句话总结

本文综述了广义回归神经网络（GRNN）在动态系统辨识与控制中的应用，表明GRNN在多个基准数据集上相较于反向传播神经网络（BPNN）实现了显著更快的训练速度和更高的精度。主要贡献在于通过实证验证了GRNN在回归与控制任务中的优越性，特别是在最小化训练误差和时间的同时保持了优异的泛化性能。

ABSTRACT

This paper depicts a brief revision of Generalized Regression Neural Networks (GRNN) applications in system identification and control of dynamic systems. In addition, a comparison study between the performance of back-propagation neural networks and GRNN is presented for system identification problems. The results of the comparison confirm that GRNN has shorter training time and higher accuracy than the counterpart back-propagation neural networks.

研究动机与目标

• 综述并整合广义回归神经网络（GRNN）在动态系统辨识与控制中的现有应用。
• 从训练精度和时间的角度，评估并比较GRNN与反向传播神经网络（BPNN）的性能。
• 展示GRNN在建模非线性动态系统以及通过实时自适应实现智能控制方面的有效性。
• 通过讨论聚类和基于距离的算法等数据降维技术，解决GRNN中隐层增长的问题。

提出的方法

• GRNN在隐层使用归一化的高斯核，采用单次遍历训练机制，通过记忆所有训练样本而无需反向传播。
• 输出通过基于输入向量与训练样本之间欧氏距离的加权平均计算得出，平滑参数σ控制核函数的宽度。
• 核心公式：$ D_i = (X - X_i)^T(X - X_i) $ 和 $ \hat{Y} = \frac{\sum_{i=1}^{N} Y_i e^{-D_i/(2\sigma^2)}}{\sum_{i=1}^{N} e^{-D_i/(2\sigma^2)}} $，其中 $ D_i $ 为距离，$ \sigma $ 为平滑参数。
• GRNN被用于离线（作为逆动力学模型）和在线（具备实时自适应能力）控制任务。
• 使用MATLAB MathWorks提供的七个基准数据集，通过均方误差（MSE）和训练时间评估性能。
• 通过GRNN实现的四旋翼飞行器高度控制仿真，展示了其具备实时跟踪能力与快速学习特性。

实验结果

研究问题

• RQ1 GRNN在系统辨识任务中的性能与反向传播神经网络相比如何？
• RQ2 GRNN在动态系统建模中的训练速度和精度方面具有哪些关键优势？
• RQ3 GRNN可在哪些类型的控制系统中有效应用，其如何实现实时自适应？
• RQ4 在大规模数据集上训练时，如何缓解GRNN中隐层增长的问题？

主要发现

• GRNN在所有数据集上均实现了接近零的训练误差（例如，简单拟合数据集为4.44×10⁻¹⁸），显著优于BPNN的精度。
• GRNN的训练时间在每个数据集上均稳定低于0.52秒，而BPNN的训练时间在0.533至4.995秒之间，显示出GRNN在速度上的显著优势。
• 对于胆固醇和发动机数据集，BPNN的训练误差极高（分别为3.67×10²和2.42×10³），而GRNN的误差分别为5.56×10⁻⁵和2.67×10⁻¹⁰。
• GRNN成功实现了对模拟四旋翼飞行器的控制，能够准确跟踪高度参考信号，具备快速学习和极低误差的特性。
• 研究证实，GRNN在回归、逼近和控制任务中均极为有效，原因在于其全局逼近能力和快速训练特性。
• 建议采用聚类等数据维度降维技术，以缓解大规模GRNN应用中隐层增长的问题。