[论文解读] Self-Weighted Robust LDA for Multiclass Classification with Edge Classes

Caixia Yan, Xiaojun Chang+5 more|arXiv (Cornell University)|Sep 24, 2020

Face and Expression Recognition参考文献 63被引用 9

一句话总结

该论文提出了一种新型多分类方法——自加权鲁棒线性判别分析（SWRLDA），通过重新定义类间散布以避免依赖总体均值，并采用基于ℓ₂,₁-范数的成对距离准则与自适应权重，有效缓解了边缘类别（即具有较大偏差的异常类别）的负面影响。该方法在合成数据集和真实世界数据集上均实现了快速收敛和卓越性能，相较于现有LDA变体，在准确率和计算效率方面表现更优，尤其在噪声或类别不平衡条件下优势显著。

ABSTRACT

Linear discriminant analysis (LDA) is a popular technique to learn the most discriminative features for multi-class classification. A vast majority of existing LDA algorithms are prone to be dominated by the class with very large deviation from the others, i.e., edge class, which occurs frequently in multi-class classification. First, the existence of edge classes often makes the total mean biased in the calculation of between-class scatter matrix. Second, the exploitation of l2-norm based between-class distance criterion magnifies the extremely large distance corresponding to edge class. In this regard, a novel self-weighted robust LDA with l21-norm based pairwise between-class distance criterion, called SWRLDA, is proposed for multi-class classification especially with edge classes. SWRLDA can automatically avoid the optimal mean calculation and simultaneously learn adaptive weights for each class pair without setting any additional parameter. An efficient re-weighted algorithm is exploited to derive the global optimum of the challenging l21-norm maximization problem. The proposed SWRLDA is easy to implement, and converges fast in practice. Extensive experiments demonstrate that SWRLDA performs favorably against other compared methods on both synthetic and real-world datasets, while presenting superior computational efficiency in comparison with other techniques.

研究动机与目标

• 解决传统LDA方法因总体均值估计偏差和ℓ₂-范数距离准则而受边缘类别主导的问题。
• 开发一种鲁棒的LDA变体，可自动避免最优均值计算，且无需额外参数。
• 通过基于ℓ₂,₁-范数的类间距离准则学习类对的自适应权重，增强类别可分性。
• 通过高效的重加权优化算法确保快速收敛和全局最优性。
• 提升在高维、噪声或类别不平衡数据集上的性能，其中边缘类别会扭曲分类结果。

提出的方法

• 通过用类中心之间的成对差值替代总体均值，重新定义类间散布矩阵，从而消除边缘类别带来的偏差。
• 采用基于ℓ₂,₁-范数的成对类间距离准则，降低由边缘类别引起的极端距离的影响。
• 引入自加权机制，自动学习每对类别的自适应权重，无需人工调参或额外参数。
• 采用重加权优化算法求解具有挑战性的ℓ₂,₁-范数最大化问题，实现全局收敛。
• 通过迭代重加权推导最优投影矩阵，确保在不同初始化下均具有快速收敛性和稳定性。
• 将该方法应用于降维和多分类任务，并在合成数据集和真实世界数据集上进行评估。

实验结果

研究问题

• RQ1 如何在多分类LDA中避免依赖总体数据均值，从而缓解边缘类别的影响？
• RQ2 基于ℓ₂,₁-范数的距离准则是否能提升类间散布计算中对异常值的鲁棒性？
• RQ3 如何在不引入额外超参数的情况下，自动学习类对的自适应权重？
• RQ4 所提出的方法是否在收敛速度和分类准确率方面优于现有鲁棒LDA变体？
• RQ5 在真实应用中常见的数据损坏或噪声条件下，该方法表现如何？

主要发现

• SWRLDA在合成数据集和真实世界数据集（包括COIL20、COIL100、Isolet、20Newsgroups、CMU PIE和YaleB）上的分类准确率与最先进方法相当或更优。
• 在大规模数据集如20Newsgroups上，SWRLDA的运行速度比其他方法快达15倍，展现出卓越的计算效率。
• 该方法在所有数据集上仅需4次迭代即可收敛，表明其具有快速收敛性和对不同随机初始化的稳定性。
• SWRLDA在数据损坏条件下表现出高度鲁棒性：即使在CMU PIE和YaleB数据集中每类有80%样本被污染，性能下降也极小，显著优于对比方法。
• 在50次随机初始化下，目标函数均收敛至稳定值，表明实际求解具有全局最优性。
• 自加权机制能有效降低遥远类对（如边缘类别）的权重，同时保留非边缘类别之间的有意义可分性，从而解决类别分离问题。