[论文解读] Oracle Based Active Set Algorithm for Scalable Elastic Net Subspace Clustering

Chong You, Chun-Guang Li+2 more|arXiv (Cornell University)|May 9, 2016

Face and Expression Recognition参考文献 40被引用 48

一句话总结

该论文提出了一种基于Oracle的主动集算法，用于可扩展的弹性网络子空间聚类，结合ℓ1和ℓ2正则化以平衡子空间保持与连通性。通过利用弹性网络解的几何洞察，该方法在保证可证明正确性的迭代主动集优化策略下，实现了最先进的聚类精度，并高效处理大规模数据集。

ABSTRACT

State-of-the-art subspace clustering methods are based on expressing each data point as a linear combination of other data points while regularizing the matrix of coefficients with $\ell_1$, $\ell_2$ or nuclear norms. $\ell_1$ regularization is guaranteed to give a subspace-preserving affinity (i.e., there are no connections between points from different subspaces) under broad theoretical conditions, but the clusters may not be connected. $\ell_2$ and nuclear norm regularization often improve connectivity, but give a subspace-preserving affinity only for independent subspaces. Mixed $\ell_1$, $\ell_2$ and nuclear norm regularizations offer a balance between the subspace-preserving and connectedness properties, but this comes at the cost of increased computational complexity. This paper studies the geometry of the elastic net regularizer (a mixture of the $\ell_1$ and $\ell_2$ norms) and uses it to derive a provably correct and scalable active set method for finding the optimal coefficients. Our geometric analysis also provides a theoretical justification and a geometric interpretation for the balance between the connectedness (due to $\ell_2$ regularization) and subspace-preserving (due to $\ell_1$ regularization) properties for elastic net subspace clustering. Our experiments show that the proposed active set method not only achieves state-of-the-art clustering performance, but also efficiently handles large-scale datasets.

研究动机与目标

• 解决子空间聚类中子空间保持与连通性之间的权衡问题。
• 为使用弹性网络正则化的大规模数据集开发一种计算高效的算法。
• 为弹性网络正则化在子空间聚类中的有效性提供几何与理论依据。
• 设计一种可证明正确且可扩展的优化方法，优于现有求解器。

提出的方法

• 使用结合ℓ1和ℓ2范数的弹性网络正则化器，以平衡稀疏性（用于子空间保持）与密度（用于连通性）。
• 开发一种基于Oracle的主动集算法，通过解的几何特性迭代识别活动约束。
• 采用基于对偶性的停止准则，确保解的收敛性与正确性。
• 应用热启动策略，通过重用前一次迭代的解来加速收敛。
• 通过仅涉及活动变量集合的子问题序列求解优化问题，降低计算成本。
• 在残差误差上使用ℓ2惩罚，与原始弹性网络公式保持一致，以提高鲁棒性。

实验结果

研究问题

• RQ1 如何从几何角度解释弹性网络正则化，以说明其在子空间保持与连通性之间的平衡？
• RQ2 能否设计一种既可证明正确又可扩展的主动集方法，用于大规模弹性网络子空间聚类？
• RQ3 弹性网络解在何种理论条件下能够保持子空间结构？
• RQ4 所提出的算法在准确率与效率方面与现有求解器（如APG和LADM）相比如何？

主要发现

• 所提出的EnSC-ORGEN算法在Coil-100、PIE、MNIST和CovType等基准数据集上实现了最先进的聚类性能。
• 该算法在大规模数据集上具有高效的可扩展性，在计算速度上优于现有方法，同时保持高准确率。
• 理论分析表明，该方法在一般条件下具有可证明的正确性，且其子空间保持的充分条件弱于先前工作。
• 几何解释表明，ℓ2正则化通过确保Oracle点被同一子空间中的邻近数据点充分覆盖，从而增强连通性。
• 与APG和LADM相比，主动集方法显著降低了计算成本，实现了大规模问题的高效求解。
• 实验结果证实，弹性网络有效平衡了稀疏性与连通性，减少了过度分割，同时不损害子空间保持能力。