[论文解读] Solving Sparsity Constrained PCA, Regression, and QCQP via the Spartrahedron

Diego Cifuentes, Zhuorui Li|arXiv (Cornell University)|Mar 18, 2026

Sparse and Compressive Sensing Techniques被引用 0

一句话总结

引入 spartrahedron，一种用于稀疏性约束的凸锥的新型用于稀疏约束的 QCQP，及其 SDP 松弛在解为秩一时的紧性，具理论保证并在稀疏 PCA、稀疏回归、RIP 估计和稀疏 CCA 上显示出实际应用效果。

ABSTRACT

Sparsity is a fundamental modeling principle in statistics, signal processing, and data science. However, optimization with sparsity constraints is notoriously difficult. We introduce a new convex relaxation framework for {sparse quadratically constrained quadratic programs} (QCQPs), a class that subsumes sparse regression, sparse principal component analysis (PCA), and related problems. Our approach is based on a novel convex cone, the spartrahedron, which exactly characterizes sparsity at the matrix level. This leads to a semidefinite programming (SDP) relaxation that is tight whenever its solution is rank-one, providing a simple certificate of global optimality. We establish theoretical guarantees, including approximation bounds and exactness regions for sparse PCA and sparse ridge regression, as well as a general stability result under perturbations. Numerical experiments on sparse PCA, sparse regression, RIP constant estimation, and sparse canonical correlation analysis (CCA) demonstrate the practical success of our methods.

研究动机与目标

• 在统计学、信号处理和数据科学中将稀疏性作为核心建模原则的动机。
• 为稀疏性约束的 QCQP 开发一个提供解质量保证的凸松弛框架。
• 引入 spartrahedron 锥并分析其精确性与鲁棒性。
• 为稀疏 PCA 和稀疏岭回归提供理论保证。
• 通过在稀疏 PCA、稀疏回归、RIP 估计和稀疏 CCA 的数值实验展示实际性能。

提出的方法

• 定义 k- spartrahedron: S_{n,k} := {X ∈ S^n : k diag(X) ≽ X ≽ 0}，并证明当 ||x||_0 ≤ k 时 xx^T ∈ S_{n,k}。
• 建立 SDP 松弛 (Q)：最小化 C ⋅ X，满足 A_i ⋅ X = b_i 对 i ∈ [m]，且 X ∈ S_{n,k}。
• 证明当最优解 X 为秩一时，松弛是精确的，给出原始问题 (P) 的全局最优性证书。
• 引入更强的松弛（Q^+）和 Z-松弛（S_{n,k}^Z, S_{n,k}^{ℓ_1}），并比较其紧性与计算成本。
• 建立稳定性结果：若对于某一实例 (Q) 是精确的，则在数据的小扰动下仍然精确。
• 应用于稀疏 PCA、稀疏岭回归、RIP 常数估计与稀疏 CCA，并给出理论性能界限。

(a) $\mathcal{S}_{3,2}\cap H$

实验结果

研究问题

• RQ1 该基于凸锥的 SDP 松弛是否能够对 QCQP 的稀疏性进行精确捕获并提供可行的全局最优性证据？
• RQ2 在何种条件下基于 spartrahedron 的松弛对稀疏 PCA 与稀疏回归是精确的？
• RQ3 所提出的 SDP 框架相对于现有松弛和启发式方法在稀疏 PCA、稀疏回归及相关问题上的表现如何？
• RQ4 在数据扰动下该松弛的稳定性性质是什么？
• RQ5 在该框架内，稀疏 PCA 与稀疏岭回归的近似界和精确性区域是什么？

主要发现

• k-spartrahedron 提供了对稀疏 QCQP 的稀疏性精确凸松弛，形成一个 SDP (Q)，当秩为一时其最优解与原问题有互信息，且相互印证。
• 若 SDP 解为秩一，则松弛具备保证的精确性，因此对 (P) 全局最优，提供简单的最优性证书。
• 该框架为稀疏 PCA 与稀疏岭回归给出近似界，并且在这些应用中存在精确性区域。
• 更强的 SDP (Q^+) 在更高计算代价下提供更紧的保证，变体 S_{n,k}^Z 与 S_{n,k}^{ℓ_1} 也被讨论与比较。
• 局部稳定性结果表明若对某一问题实例松弛是精确的，则在数据的微小扰动下仍然保持精确。
• 数值实验覆盖稀疏 PCA、稀疏回归、RIP 常数估计和稀疏 CCA，显示在实际应用中优于启发式方法和以往的基于 SDP 的方法。

(b) $\mathcal{S}_{3,2}^{\textit{\tiny{Z}}}\cap H$