[论文解读] On the Quality of a Semidefinite Programming Bound for Sparse Principal Component Analysis

Laurent El Ghaoui|ArXiv.org|Jan 18, 2006

Sparse and Compressive Sensing Techniques参考文献 4被引用 9

一句话总结

该论文通过将卡迪纳尔惩罚秩一逼近问题重新表述为带框约束的最大特征值优化问题，提出了一种用于稀疏主成分分析（SPCA）的半定规划（SDP）松弛方法。它利用鲁棒优化技术推导出一个紧致的SDP界，并建立了理论质量保证：当协方差矩阵的对角线元素快速衰减时，该界是精确的（即松弛间隙为零）；相对间隙由矩阵结构和惩罚参数的函数有下界。

ABSTRACT

We examine the problem of approximating a positive, semidefinite matrix $Σ$ by a dyad $xx^T$, with a penalty on the cardinality of the vector $x$. This problem arises in sparse principal component analysis, where a decomposition of $Σ$ involving sparse factors is sought. We express this hard, combinatorial problem as a maximum eigenvalue problem, in which we seek to maximize, over a box, the largest eigenvalue of a symmetric matrix that is linear in the variables. This representation allows to use the techniques of robust optimization, to derive a bound based on semidefinite programming. The quality of the bound is investigated using a technique inspired by Nemirovski and Ben-Tal (2002).

研究动机与目标

• 为稀疏主成分分析（SPCA）开发一个紧致的半定规划（SDP）松弛，该方法旨在对正半定协方差矩阵进行低秩、稀疏逼近。
• 通过推导原始非凸问题最优值与SDP上界之间相对间隙的界，分析SDP松弛的质量。
• 刻画SDP松弛精确的条件（即间隙为零），特别是基于协方差矩阵对角线元素的衰减速率。
• 提供一个关于惩罚参数ρ和协方差矩阵Σ结构特性的松弛间隙的定量估计。

提出的方法

• 将稀疏PCA问题重新表述为在框约束下的最大特征值问题：max_{x ∈ [-1,1]^n} λ_max(Σ - ρ diag(x) + diag(x)Σ)，其中λ_max表示最大特征值。
• 引入截断的瑞利商表示，将原问题与鲁棒优化联系起来，通过对偶性和基于期望的界推导出SDP上界。
• 应用鲁棒优化技术推导出最优值φ(ρ)的上界，使用涉及高斯随机变量和正部期望的概率表示。
• 推导出一个质量估计θ(ρ)，使得SDP界至少为真实最优值的θ(ρ)倍，其中θ(ρ)依赖于协方差矩阵的秩和结构。
• 使用函数θ_m(γ)量化界的质量，其中γ是ρ、Σ_11和矩阵秩m的函数，并证明对于固定的γ，θ_m(γ)随m增加而减小。
• 利用高斯变量二次型正部期望的下界，推导出一个可计算的质量估计表达式，利用凸性和对称性。

实验结果

研究问题

• RQ1 在何种条件下，SPCA的SDP松弛是精确的，即松弛间隙消失？
• RQ2 在卡迪纳尔惩罚公式中，惩罚参数ρ如何影响SDP界的质量？
• RQ3 协方差矩阵Σ的何种结构特性能确保SDP松弛相对质量的下界不为零？
• RQ4 能否为SPCA中真实最优值与SDP上界之间间隙导出一个紧致且可解析处理的界？
• RQ5 协方差矩阵的秩及其对角线元素的衰减速率如何影响SDP松弛的紧致性？

主要发现

• 当Σ的对角线元素快速衰减时，SDP松弛是精确的（即界是紧致的）：若Σ_{22} ≤ ρ < Σ_{11}，则松弛间隙为零，即φ(ρ) = ψ(ρ)。
• 当对角线元素满足对所有h ≥ 2有Σ_{hh} ≤ (1/(h+1))Σ_{11}时，对于所有ρ < Σ_{22}，松弛间隙的下界为1/π，从而确保了恒定的相对质量保证。
• SDP界的质量由函数θ(ρ) = θ_{m(ρ)}(γ(ρ))量化，其中m(ρ)是Σ中满足Σ_{ii} > ρ的索引对应的子矩阵的秩，而γ(ρ)依赖于ρ、Σ_{11}和此类索引的数量。
• 界θ(ρ)随活跃子矩阵的秩m(ρ)增加而减小，表明高秩子矩阵导致更松的界，但其衰减速率受Σ结构的控制。
• 对于对角线快速衰减的随机协方差矩阵，质量估计θ(ρ)保持远离零，确保SDP界在ρ的广泛范围内具有信息量。
• 本文证明SDP界至少为真实最优值的θ(ρ)倍，其中θ(ρ)可从矩阵结构和ρ计算得出，从而提供了松弛质量的实用且理论化的度量。