[论文解读] Robust supervised classification and feature selection using a primal-dual method

Michel Barlaud, Antonin Chambolle+1 more|arXiv (Cornell University)|Feb 5, 2019

Sparse and Compressive Sensing Techniques参考文献 37被引用 8

一句话总结

该论文提出了一种用于高维数据中监督分类与特征选择的鲁棒、约束型原始-对偶优化方法，采用Huber损失和通过核范数、ℓ₂,₁范数及ℓ₁,₂范数实现的结构化稀疏性。该方法引入了类别中心矩阵以加速收敛并提高特征签名的可靠性，具备可证明的收敛性，并在合成数据集和生物数据集上表现出强劲的实验性能。

ABSTRACT

This paper deals with supervised classification and feature selection in high dimensional space. A classical approach is to project data on a low dimensional space and classify by minimizing an appropriate quadratic cost. A strict control on sparsity is moreover obtained by adding an $\ell_1$ constraint, here on the matrix of weights used for projecting the data. Tuning the sparsity bound results in selecting the relevant features for supervised classification. It is well known that using a quadratic cost is not robust to outliers. We cope with this problem by using an $\ell_1$ norm both for the constraint and for the loss function. In this case, the criterion is convex but not gradient Lipschitz anymore. Another second issue is that we optimize simultaneously the projection matrix and the centers used for classification. In this paper, we provide a novel tailored constrained primal-dual method to compute jointly selected features and classifiers. Extending our primal-dual method to other criteria is easy provided that efficient projection (on the dual ball for the loss data term) and prox (for the regularization term) algorithms are available. We illustrate such an extension in the case of a Frobenius norm for the loss term. We provide a convergence proof of our primal-dual method, and demonstrate its effectiveness on three datasets (one synthetic, two from biological data) on which we compare $\ell_1$ and $\ell_2$ costs.

研究动机与目标

• 解决传统基于二次损失的分类方法在面对高维数据中的异常值时缺乏鲁棒性的问题。
• 通过在损失函数中引入类别中心矩阵，提升特征选择中的收敛速度和特征签名的可靠性。
• 通过使用核范数、ℓ₂,₁-范数和ℓ₁,₂-范数的约束公式，实现结构化稀疏性，以保留组内或互斥的特征模式。
• 为涉及ℓ₁和Huber损失的非光滑、非Lipschitz准则，开发具有可证明收敛性的原始-对偶算法。
• 在真实世界生物数据集和合成基准数据集上展示该方法的有效性，证明其在鲁棒性和稀疏性方面的优越性能。

提出的方法

• 该方法最小化基于Huber损失的目标函数，结合ℓ₁-正则化的投影矩阵和类别中心矩阵，以替代标准的Frobenius范数，从而提升鲁棒性。
• 采用在权重矩阵上使用ℓ₁范数的约束公式，通过高效地投影到ℓ₁球上，避免了昂贵的超参数调优。
• 通过基于核范数（用于低秩结构）、ℓ₂,₁-范数（用于组稀疏性）和ℓ₁,₂-范数（用于互斥稀疏性）的约束来实现结构化稀疏性，每种约束均配有专用的投影算法。
• 开发了一种定制的原始-对偶算法，对ℓ₁范数计算进行对偶化处理，并利用邻近算子处理非光滑项。
• 该算法采用Chambolle-Pock方法的超松弛变体，通过遍历迭代和对步长及Lipschitz常数的条件，证明了收敛性。
• 通过使用Huber函数的共轭函数对损失项进行对偶化，将方法扩展至Huber损失，从而在保持凸性的同时实现鲁棒性。

实验结果

研究问题

• RQ1 在损失函数中引入类别中心矩阵是否能显著提升高维分类中的收敛速度和特征签名稳定性？
• RQ2 用ℓ₁或Huber损失替代Frobenius范数，能否有效增强监督特征选择中对异常值的鲁棒性？
• RQ3 能否通过使用高效投影的约束型原始-对偶优化，有效实现基于核范数、ℓ₂,₁-范数和ℓ₁,₂-范数的结构化稀疏性？
• RQ4 对于涉及ℓ₁和Huber损失的非光滑、非Lipschitz准则，应用原始-对偶方法时可建立何种收敛性保证？
• RQ5 在真实生物数据集和合成数据集上，该方法相较于现有LASSO和组-LASSO方法，在性能和鲁棒性方面表现如何？

主要发现

• 在损失函数中引入类别中心矩阵（μ）显著加速了收敛速度，并在所有测试数据集中提高了所选特征签名的可靠性。
• 使用Huber损失替代Frobenius范数增强了对异常值的鲁棒性，尤其在噪声较大的生物数据集中表现更优，且未牺牲收敛速度。
• 与标准惩罚型LASSO相比，所提出的约束ℓ₁稀疏性公式无需耗时的超参数调优，性能更优。
• 所提出的原始-对偶算法以O(1/N)的收敛率实现收敛，其中N为迭代次数，且在步长和问题参数的温和条件下可证明收敛性。
• 在三个生物数据集（两个质谱数据集，两个单细胞数据集）上，该方法实现了更高的分类准确率和更稳定的特征选择，优于基线方法。
• 新提出的ℓ₁,₂-范数约束投影算法实现了有效的互斥特征选择，能够识别每类中独特的基因集，这对生物解释具有重要意义。