[论文解读] Robust artificial neural networks and outlier detection. Technical report

Gleb Beliakov, Andrei Kelarev+1 more|arXiv (Cornell University)|Oct 2, 2011

Advanced Statistical Methods and Models参考文献 54被引用 12

一句话总结

本文提出一种基于惩罚最小截尾平方（PCLTS）准则的鲁棒人工神经网络（ANN）训练方法，以处理非线性回归中的异常值。通过结合无导数优化进行初始训练，并引入惩罚项以防止过度剔除有效数据，该方法在高异常值污染水平下显著提升了异常值检测能力与模型准确性，尤其在保留合法数据点方面优于标准LTS方法。

ABSTRACT

Large outliers break down linear and nonlinear regression models. Robust regression methods allow one to filter out the outliers when building a model. By replacing the traditional least squares criterion with the least trimmed squares criterion, in which half of data is treated as potential outliers, one can fit accurate regression models to strongly contaminated data. High-breakdown methods have become very well established in linear regression, but have started being applied for non-linear regression only recently. In this work, we examine the problem of fitting artificial neural networks to contaminated data using least trimmed squares criterion. We introduce a penalized least trimmed squares criterion which prevents unnecessary removal of valid data. Training of ANNs leads to a challenging non-smooth global optimization problem. We compare the efficiency of several derivative-free optimization methods in solving it, and show that our approach identifies the outliers correctly when ANNs are used for nonlinear regression.

研究动机与目标

• 解决在含异常值的数据上训练人工神经网络所面临的挑战，因为异常值会严重降低模型性能。
• 开发一种鲁棒的训练准则，能够识别并排除异常值，同时避免不必要地剔除有效数据点。
• 提升神经网络模型在现实应用中的可靠性，尤其是在数据中存在严重误差或混合现象的情况下。
• 设计一种混合优化框架，结合无导数方法与反向传播，以在非光滑、非凸目标函数下实现高效且准确的训练。
• 评估并比较多种无导数优化算法在解决鲁棒ANN训练中产生的非光滑全局优化问题时的性能表现。

提出的方法

• 提出一种惩罚最小截尾平方（PCLTS）准则，在标准最小截尾平方（LTS）目标基础上增加惩罚项，以抑制有效数据的过度剔除。
• 采用混合训练策略：首先使用无导数优化方法在全部数据上训练ANN以识别潜在异常值；随后保留有效数据，并通过反向传播进行微调。
• 基于残差设计阈值机制，将数据分类为异常值或内点，PCLTS准则旨在最小化最佳拟合子集上的平方残差和，同时对过度剔除施加惩罚。
• 采用三种无导数优化算法——Nelder-Mead、Hooke-Jeeves以及改进的模式搜索法——求解初始训练阶段的非光滑全局优化问题。
• 在PCLTS公式中引入参数C和B，以控制数据剔除的惩罚力度，从而在鲁棒性与数据保留之间实现权衡。
• 在多个具有不同噪声水平和异常值比例的合成数据集上验证该方法，将PCLTS与标准LTS及标准ANN训练方法进行对比。

实验结果

研究问题

• RQ1 PCLTS准则是否能有效减少标准LTS在神经网络训练中常见的有效数据点过度剔除问题？
• RQ2 在非光滑PCLTS目标函数下，不同无导数优化方法在训练ANN时的性能表现如何比较？
• RQ3 在高污染水平（如20%异常值）下，基于PCLTS的训练在多大程度上提升了模型的准确性和鲁棒性？
• RQ4 混合训练方法（先进行鲁棒训练，再在干净数据上进行反向传播）是否比使用标准最小二乘法或LTS的端到端训练具有更好的泛化能力？
• RQ5 PCLTS能否成功识别并排除异常值，同时保留复杂非线性数据中的底层函数结构？

主要发现

• PCLTS准则成功防止了标准LTS在高密度数据区域或复杂曲率区域中常见的有效数据点过度剔除问题。
• 在含20%异常值和0.2噪声水平的数据集中，PCLTS在5个隐藏神经元下达到均方误差229.90，显著优于LTS，后者因在极小值附近剔除有效数据而性能下降。
• 在数据集10中，使用5个隐藏神经元和20%噪声时，PCLTS的测试误差为217.86，而相同架构下的LTS因错误剔除异常值而无法拟合真实函数。
• 混合训练方法（先进行PCLTS优化，再通过反向传播微调）生成的模型比在污染数据上直接进行反向传播的模型更准确、更稳定。
• 在所测试的无导数方法中，改进的模式搜索算法在优化非光滑PCLTS目标函数时表现出更优的收敛性和稳定性。
• 在多个数据集上的可视化对比表明，即使在高污染条件下，PCLTS预测仍能紧密跟随真实底层函数，而标准LTS和标准ANN训练则产生了严重失真的拟合结果。