[论文解读] Sample Complexity of Learning Mixtures of Sparse Linear Regressions

Akshay Krishnamurthy, Arya Mazumdar+2 more|arXiv (Cornell University)|Oct 30, 2019

Sparse and Compressive Sensing Techniques参考文献 25被引用 5

一句话总结

该论文提出了一种鲁棒算法，用于学习稀疏线性回归的混合模型，实现了改进的样本复杂度，并消除了先前工作中存在的限制性假设。在无噪声情况下，其查询复杂度达到最优 $ O(kL\log(kL)) $，并通过利用稀疏多项式性质以及与高斯混合学习和纠错码的联系，首次实现了 $ L > 2 $ 情况下的鲁棒重构。

ABSTRACT

In the problem of learning mixtures of linear regressions, the goal is to learn a collection of signal vectors from a sequence of (possibly noisy) linear measurements, where each measurement is evaluated on an unknown signal drawn uniformly from this collection. This setting is quite expressive and has been studied both in terms of practical applications and for the sake of establishing theoretical guarantees. In this paper, we consider the case where the signal vectors are sparse; this generalizes the popular compressed sensing paradigm. We improve upon the state-of-the-art results as follows: In the noisy case, we resolve an open question of Yin et al. (IEEE Transactions on Information Theory, 2019) by showing how to handle collections of more than two vectors and present the first robust reconstruction algorithm, i.e., if the signals are not perfectly sparse, we still learn a good sparse approximation of the signals. In the noiseless case, as well as in the noisy case, we show how to circumvent the need for a restrictive assumption required in the previous work. Our techniques are quite different from those in the previous work: for the noiseless case, we rely on a property of sparse polynomials and for the noisy case, we provide new connections to learning Gaussian mixtures and use ideas from the theory of error-correcting codes.

研究动机与目标

• 解决在噪声环境下学习超过两个稀疏线性回归混合模型的开放问题。
• 消除 Yin 等人（2019）提出的限制性假设，即要求信号向量重叠支持集中的非零条目互不相同。
• 为 $ L > 2 $ 提供首个鲁棒重构算法，能够处理非完美稀疏的信号并具备抗噪声能力。
• 在无噪声情况下实现最优样本复杂度 $ O(kL\log(kL)) $，与先前结果的界一致，但适用条件更广泛。
• 通过与纠错码及高斯混合学习的新型联系，建立稀疏向量恢复的理论保证。

提出的方法

• 基于随机 $ \pm 1 $ 向量和缩放的整数向量设计查询，以增强稀疏恢复的信噪比。
• 应用类似 Johnson-Lindenstrauss 的集中不等式，确保稀疏子空间满足受限等距性质（RIP）。
• 利用稀疏多项式的性质，在无噪声情况下区分多个稀疏信号。
• 引入与高斯混合学习的联系，以处理噪声测量并实现鲁棒近似。
• 在构建具有 $ \delta $-RIP 性质的测量矩阵后，采用基追踪和 $ \ell_1 $-最小化进行稀疏恢复。
• 对所有 $ k $-稀疏支持集使用并集界，并应用 Stirling 公式以在高维设置下界失败概率。

实验结果

研究问题

• RQ1 能否在不施加对信号支持集的限制性假设下，优化学习稀疏线性回归混合模型的样本复杂度？
• RQ2 在噪声环境下，是否能够将鲁棒恢复算法扩展至 $ L=2 $ 以上的情况？
• RQ3 如何利用稀疏多项式结构在无噪声情况下恢复多个稀疏向量？
• RQ4 在稀疏混合模型中，查询复杂度与抗噪声鲁棒性之间的最优权衡是什么？
• RQ5 与高斯混合学习和纠错码的联系能否提升稀疏回归混合模型的样本复杂度和鲁棒性？

主要发现

• 该论文建立了无噪声下 $ L $ 个 $ k $-稀疏向量恢复的样本复杂度为 $ O(kL\log(kL)) $，与先前上界一致，但无需限制性假设。
• 证明了 $ \Omega(kL) $ 的查询下界，表明上界在渐近意义上是最优的。
• 在噪声情况下，所提算法即使在信号非完美稀疏时，也能实现对良好稀疏近似的鲁棒恢复。
• 该方法解决了将噪声恢复扩展至 $ L > 2 $ 的开放问题，此前仅在 $ L=2 $ 时被解决。
• 分析表明，$ c'k\log(n/k) $ 个查询足以以高概率实现 $ \delta $-RIP，从而通过基追踪实现稳定恢复。
• 信噪比（SNR）推导为 $ \mathsf{SNR} = \frac{1}{\sigma^2}\left(1 + \frac{z^\star(2z^\star+1)(4z^\star+1)^2}{3}\right) $，其中 $ z^\star $ 为常数，确保在噪声下可靠恢复。