[论文解读] Sparse Solutions to Nonnegative Linear Systems and Applications

Aditya Bhaskara, Ananda Theertha Suresh+1 more|arXiv (Cornell University)|Jan 7, 2015

Machine Learning and Algorithms参考文献 36被引用 3

一句话总结

该论文提出了一种组合算法，用于在不假设矩阵结构的前提下，寻找非负线性系统的稀疏近似解。该算法保证了 $ O(k/\theta^3) $-稀疏解，且 $ \ell_1 $ 误差 $ \leq \theta\|b\|_1 $，从而实现了在 $ d $ 维空间中对 $ k $-分量轴对齐高斯混合模型的高效 PAC 学习，当 $ d $ 为常数时，复杂度为 $ O(kd/\theta^3)^d $。

ABSTRACT

We give an efficient algorithm for finding sparse approximate solutions to linear systems of equations with nonnegative coefficients. Unlike most known results for sparse recovery, we do not require {\em any} assumption on the matrix other than non-negativity. Our algorithm is combinatorial in nature, inspired by techniques for the set cover problem, as well as the multiplicative weight update method. We then present a natural application to learning mixture models in the PAC framework. For learning a mixture of $k$ axis-aligned Gaussians in $d$ dimensions, we give an algorithm that outputs a mixture of $O(k/ε^3)$ Gaussians that is $ε$-close in statistical distance to the true distribution, without any separation assumptions. The time and sample complexity is roughly $O(kd/ε^3)^{d}$. This is polynomial when $d$ is constant -- precisely the regime in which known methods fail to identify the components efficiently. Given that non-negativity is a natural assumption, we believe that our result may find use in other settings in which we wish to approximately explain data using a small number of a (large) candidate set of components.

研究动机与目标

• 开发一种无需对矩阵施加结构假设的高效算法，用于求解非负线性系统的稀疏近似解。
• 解决现有凸松弛或贪婪方法在 $ \ell_1 $-范数误差下表现不佳的稀疏恢复挑战。
• 在无需分离假设或依赖矩阵性质的前提下，实现对混合模型（特别是 $ k $-分量轴对齐高斯分布）的 PAC 学习。
• 提供一种基于乘法权重思想的组合方法，避免凸优化和特征值依赖。
• 在先前方法因指数复杂度而失效的低维情形下，实现多项式时间学习。

提出的方法

• 该算法采用受集合覆盖技术启发的乘法权重更新框架，通过迭代调整权重，使注意力集中在解释不足的分量上。
• 它维护一个非负解向量，并基于 $ \ell_1 $-范数下的残差误差，使用贪心选择规则进行更新。
• 该方法通过组合更新避免了凸松弛，且无需满足受限等距性或非相干性条件。
• 它利用 Paley-Zygmund 不等式进行概率论证，以给出稀疏向量无法近似目标向量的下界概率。
• 构建稀疏向量上的 $ \epsilon' $-网，以对所有候选解应用并集界，从而确保全局近似保证。
• 分析使用了集中不等式和矩估计，表明以高概率而言，不存在 $ Ck $-稀疏向量满足 $ \|x\|_1 \in [3k/4, 5k/4] $ 且实现小的 $ \ell_1 $ 误差，从而表明存在一个良好的稀疏解。

实验结果

研究问题

• RQ1 能否在不假设矩阵结构的前提下，高效地找到非负线性系统的稀疏近似解？
• RQ2 是否可能在不依赖受限等距性或凸松弛的前提下，实现稀疏恢复的 $ \ell_1 $-范数误差保证？
• RQ3 该方法能否应用于已知方法因复杂度过高而失效的低维混合模型 PAC 学习场景？
• RQ4 当不存在精确稀疏解时，非负系统中稀疏性与 $ \ell_1 $-误差之间的权衡是什么？
• RQ5 在非负系统中，组合的、非凸的方法是否能在稀疏性-精度权衡上优于凸松弛方法？

主要发现

• 该算法生成的解为 $ O(k/\epsilon^3) $-稀疏，且满足 $ \|Ax_{\text{alg}} - b\|_1 \leq \epsilon\|b\|_1 $，即使在无矩阵结构假设下也成立。
• 对于 $ d $ 维空间中的 $ k $-分量轴对齐高斯分布，该方法输出一个由 $ O(k/\epsilon^3) $ 个分量组成的混合模型，其统计距离与目标模型相差 $ \epsilon $ 以内。
• 时间与样本复杂度为 $ O((kd/\epsilon^3)^d) $，当 $ d $ 为常数时为多项式时间，解决了先前方法的关键局限。
• 该方法避免了对 $ A^\dagger $ 最大特征值的依赖，与 Natarajan 的方法不同，且无需满足 RIP 类似假设。
• 分析表明，以高概率而言，不存在 $ Ck $-稀疏向量满足 $ \|x\|_1 \in [3k/4, 5k/4] $ 且实现小于 $ \Omega(1/\sqrt{C}) $ 的 $ \ell_1 $ 误差，从而给出了近似质量的下界。
• 结果表明，仅凭非负性即可实现强大的稀疏恢复保证，暗示其在具有候选分量的数据建模中具有广泛适用性。