[论文解读] Robust Learning with Kernel Mean p-Power Error Loss

Badong Chen, Lei Xing+3 more|arXiv (Cornell University)|Dec 21, 2016

Machine Learning and ELM参考文献 24被引用 9

一句话总结

本文提出核均值p次幂误差（KMPE），一种在再生核希尔伯特空间中定义的非二阶统计度量，通过允许任意p次幂误差损失，推广了核相关性。将KMPE作为损失函数应用于极限学习机与主成分分析，作者构建了ELM-KMPE与PCA-KMMP，其在合成数据集与基准数据集上展现出更优的鲁棒性与性能，尤其在非高斯噪声与异常值存在的情况下表现突出。

ABSTRACT

Correntropy is a second order statistical measure in kernel space, which has been successfully applied in robust learning and signal processing. In this paper, we define a nonsecond order statistical measure in kernel space, called the kernel mean-p power error (KMPE), including the correntropic loss (CLoss) as a special case. Some basic properties of KMPE are presented. In particular, we apply the KMPE to extreme learning machine (ELM) and principal component analysis (PCA), and develop two robust learning algorithms, namely ELM-KMPE and PCA-KMPE. Experimental results on synthetic and benchmark data show that the developed algorithms can achieve consistently better performance when compared with some existing methods.

研究动机与目标

• 解决基于二阶损失函数（如MSE与核相关性）在处理机器学习中非高斯噪声与异常值时的局限性。
• 提出一种在核空间中定义的广义非二阶统计度量，命名为核均值p次幂误差（KMPE），将核相关性推广至任意p值。
• 通过在极限学习机与主成分分析中引入KMPE作为损失函数，开发出鲁棒学习算法——ELM-KMPE与PCA-KMPE。
• 通过实证验证基于KMPE的算法在回归、分类、聚类与人脸重建任务中，相对于现有鲁棒方法的优越性。

提出的方法

• 将KMPE定义为核空间中误差的p阶矩，当p=2时，其推广了核相关性损失（C-Loss）。
• 利用Mercer核将数据映射至再生核希尔伯特空间（RKHS），实现基于局部相似性的学习。
• 通过最小化KMPE损失，推导出ELM-KMPE与PCA-KMPE的优化过程，采用迭代重加权最小二乘法或基于梯度的方法。
• 应用核技巧，在保持计算效率的同时，实现在ELM与PCA框架中的非线性特征学习。
• 采用高斯核以诱导RKHS，并通过带宽选择控制邻域敏感性。
• 通过在ELM与PCA中用核空间中的p次幂误差替代传统损失函数（如MSE或方差最大化），实现KMPE的集成。

实验结果

研究问题

• RQ1 与标准核相关性或MSE相比，核空间中广义的非二阶损失函数是否能提升对异常值与非高斯噪声的鲁棒性？
• RQ2 KMPE损失中p值的选择如何影响ELM与PCA在不同噪声水平与污染程度下的性能表现？
• RQ3 所提出的基于KMPE的学习框架是否在含异常值的真实数据中，优于现有鲁棒方法（如L1-PCA、R1-PCA、HQ-PCA与PCA-GM）？
• RQ4 KMPE在高维、噪声较大的数据集（如MNIST与Yale Face）中，对聚类与分类准确率的提升程度如何？

主要发现

• 在MNIST数字数据集上，ELM-KMPE在各类噪声条件下均实现了高于标准ELM及其他鲁棒变体的分类准确率。
• 在MNIST与Yale Face数据库上，PCA-KMPE在聚类准确率与标准化互信息（NMI）方面，优于五种基准PCA方法（包括R1-PCA、L1-PCA、HQ-PCA与PCA-GM）。
• 在MNIST数据集上，PCA-KMPE在50维子空间中实现了71.83%的聚类准确率，优于第二好的方法（69.63%），且在所有测试维度上均保持一致的性能提升。
• 在包含150张伪图像的Yale Face数据集上，PCA-KMPE在60维空间中实现了51.33%的聚类准确率，显著优于次优方法（49.80%），且在60维时保持了较高的NMI（0.5809）。
• 所提出的KMPE基算法在多个数据集与不同噪声水平下均表现出一致的鲁棒性，性能指标的方差低于基线方法。
• KMPE的最优p值在PCA中为10，在PCA-GM中为0.3，表明非二次p值可增强核空间中的鲁棒性。