[论文解读] Using Artificial Bee Colony Algorithm for MLP Training on Earthquake Time Series Data Prediction

Habib Shah, Rozaida Ghazali+1 more|arXiv (Cornell University)|Dec 20, 2011

Neural Networks and Applications参考文献 35被引用 35

一句话总结

本文提出使用人工蜂群算法（ABC）训练多层感知机（MLP）网络，以预测地震时间序列数据，为传统反向传播（BP）方法提供一种替代方案。ABC-MLP模型在地震数据上的预测准确性和收敛速度均优于标准BP训练的MLP，证明了ABC在具有多个局部最优解的复杂非线性解空间中具有优越的优化能力。

ABSTRACT

Nowadays, computer scientists have shown the interest in the study of social insect's behaviour in neural networks area for solving different combinatorial and statistical problems. Chief among these is the Artificial Bee Colony (ABC) algorithm. This paper investigates the use of ABC algorithm that simulates the intelligent foraging behaviour of a honey bee swarm. Multilayer Perceptron (MLP) trained with the standard back propagation algorithm normally utilises computationally intensive training algorithms. One of the crucial problems with the backpropagation (BP) algorithm is that it can sometimes yield the networks with suboptimal weights because of the presence of many local optima in the solution space. To overcome ABC algorithm used in this work to train MLP learning the complex behaviour of earthquake time series data trained by BP, the performance of MLP-ABC is benchmarked against MLP training with the standard BP. The experimental result shows that MLP-ABC performance is better than MLP-BP for time series data.

研究动机与目标

• 为解决反向传播在MLP训练中的局限性，特别是其在复杂非线性数据中易陷入局部极小值导致收敛至次优解的问题。
• 探索基于自然启发的优化方法——特别是人工蜂群（ABC）算法——作为MLP在时间序列预测中的一种替代训练方法。
• 在真实地震时间序列数据上，评估ABC训练的MLP（MLP-ABC）与标准反向传播训练的MLP（MLP-BP）的性能表现。
• 证明元启发式优化在地震学预测神经网络训练中的可行性和优越性。

提出的方法

• 采用人工蜂群（ABC）算法通过模拟蜜蜂觅食行为来优化多层感知机（MLP）的权重。
• ABC算法利用雇佣蜂、观察蜂和侦察蜂探索解空间，基于预测值与实际地震时间序列值之间的误差来评估适应度。
• 通过迭代更新权重以最小化预测值与观测地震数据之间的均方误差（MSE），实现MLP的ABC训练。
• 使用相同的数据集和网络结构，将ABC优化的MLP性能与标准反向传播训练的MLP进行基准对比。
• 算法通过基于预测误差的适应度函数评估解，引导搜索向误差更低的权重配置方向进行。
• 训练过程在局部搜索（雇佣蜂）、全局选择（观察蜂）和随机探索（侦察蜂）之间交替，以避免过早收敛。

实验结果

研究问题

• RQ1 人工蜂群（ABC）算法能否有效训练MLP以实现地震时间序列预测，且性能优于标准反向传播方法？
• RQ2 ABC训练的MLP在地震数据上的收敛速度和预测准确性与反向传播训练的MLP相比如何？
• RQ3 ABC是否能降低在地震时间序列非凸误差曲面上收敛至次优解的可能性？
• RQ4 元启发式优化对复杂真实时间序列中神经网络训练的泛化能力和鲁棒性有何影响？

主要发现

• MLP-ABC模型在地震时间序列数据上的预测准确性优于标准反向传播训练的MLP。
• ABC优化的MLP表现出更快的收敛速度，并且对局部极小值的敏感性低于反向传播方法。
• 实验结果证实，ABC在处理地震时间序列复杂的多峰误差景观方面具有显著有效性。
• 在多种评估指标下性能提升一致，MLP-ABC报告的均方误差（MSE）值更低。
• 本研究验证了生物启发式优化（如ABC）作为特定时间序列预测任务中梯度方法的可行且更优的替代方案。