[论文解读] Sum-of-squares lower bounds for Sparse PCA

Tengyu Ma, Avi Wigderson|arXiv (Cornell University)|Dec 7, 2015

Sparse and Compressive Sensing Techniques参考文献 44被引用 30

一句话总结

该论文证明，四阶平方和（SoS）松弛方法无法弥合稀疏主成分分析（Sparse PCA）中的统计-计算差距，表明即使采用更高阶的凸松弛方法，仍需 n ≈ k² 个样本才能检测到一个植入的 k-稀疏单位向量——这与低阶方法的样本复杂度一致。该结果揭示了 SoS 方法在高维稀疏估计中的固有局限性。

ABSTRACT

This paper establishes a statistical versus computational trade-off for solving a basic high-dimensional machine learning problem via a basic convex relaxation method. Specifically, we consider the Sparse Principal Component Analysis (Sparse PCA) problem, and the family of Sum-of-Squares (SoS, aka Lasserre/Parillo) convex relaxations. It was well known that in large dimension p, a planted k-sparse unit vector can be in principle detected using only n ≈ k log p (Gaussian or Bernoulli) samples, but all efficient (polynomial time) algorithms known require n ≈ k2 samples. It was also known that this quadratic gap cannot be improved by the the most basic semi-definite (SDP, aka spectral) relaxation, equivalent to a degree-2 SoS algorithms. Here we prove that also degree-4 SoS algorithms cannot improve this quadratic gap. This average-case lower bound adds to the small collection of hardness results in machine learning for this powerful family of convex relaxation algorithms. Moreover, our design of moments (or pseudo-expectations) for this lower bound is quite different than previous lower bounds. Establishing lower bounds for higher degree SoS algorithms for remains a challenging problem.

研究动机与目标

• 研究更高阶平方和（SoS）松弛方法是否能够弥合稀疏主成分分析中的统计-计算差距。
• 确定四阶 SoS 算法是否能改进低阶方法所需的 n ≈ k² 样本复杂度。
• 在稀疏高维估计的背景下，建立 SoS 算法的平均情况下界。
• 提出一种新颖的矩（伪期望）构造方法，使该下界得以实现，该方法与以往方法有显著不同。
• 为凸松弛方法在某些高维问题中计算效率固有的局限性这一日益增长的证据体系做出贡献。

提出的方法

• 作者分析了四阶平方和（SoS）松弛方法在稀疏主成分分析问题上的性能。
• 他们构建了一类特定的植入稀疏向量分布，并定义了一个满足四阶 SoS 约束的伪期望算子。
• 该矩（伪期望）的构造旨在模仿真实分布的行为，同时保持与低阶矩的一致性。
• 证明依赖于表明：当样本数为 n ≈ k log p 时，没有任何四阶 SoS 解能够将植入的稀疏向量与噪声区分开来。
• 该方法与以往的下界研究不同，采用了针对稀疏主成分分析问题结构量身定制的非标准矩设计。
• 该论证结合了伪校准和矩矩阵分析的工具，当假设以亚二次样本数成功检测时，推导出矛盾。

实验结果

研究问题

• RQ1 在样本数为 n ≈ k log p 时，四阶平方和松弛方法能否在高维中检测到一个 k-稀疏单位向量？
• RQ2 是否存在一种根本性的计算障碍，使得 SoS 方法无法在稀疏主成分分析中实现信息论层面的样本复杂度？
• RQ3 与以往问题相比，将 SoS 下界中的伪期望设计应用于稀疏主成分分析时，其差异体现在何处？
• RQ4 更高阶的 SoS 松弛方法是否能够克服谱方法和二阶 SoS 方法中观察到的 k² 样本复杂度差距？
• RQ5 在解决高维稀疏估计问题时，凸松弛技术（如 SoS）存在哪些局限性？

主要发现

• 当样本量为 n ≈ k log p 时，四阶平方和松弛方法无法在高维中检测到一个植入的 k-稀疏单位向量。
• 该论文证明，即使四阶 SoS 方法也需 n ≈ k² 个样本，其样本复杂度与低阶谱方法和 SDP 松弛方法一致。
• 这确立了即使在更高阶 SoS 松弛方法下依然存在的统计与计算之间的权衡。
• 该下界通过一种与文献中以往方法显著不同的伪期望构造方法实现。
• 该结果有助于理解凸松弛方法在高维稀疏估计中的固有局限性。
• 研究结果表明，要克服 k² 的样本复杂度差距，可能需要采用非凸或非 SOS 基础的方法。