[论文解读] Recovery of Sparse Signals from a Mixture of Linear Samples

Arya Mazumdar, Soumyabrata Pal|arXiv (Cornell University)|Jun 29, 2020

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出了一种高效算法，用于从混合线性查询中恢复两个未知的稀疏线性模型，其中每个查询返回来自两个模型之一的标签，但不标明具体来源。通过利用压缩感知和基于精心设计查询的基追踪方法，该方法在无需对稀疏性或模型参数施加限制性假设的情况下，实现了最优查询复杂度，显著提升了先前工作的样本效率和通用性。

ABSTRACT

Mixture of linear regressions is a popular learning theoretic model that is used widely to represent heterogeneous data. In the simplest form, this model assumes that the labels are generated from either of two different linear models and mixed together. Recent works of Yin et al. and Krishnamurthy et al., 2019, focus on an experimental design setting of model recovery for this problem. It is assumed that the features can be designed and queried with to obtain their label. When queried, an oracle randomly selects one of the two different sparse linear models and generates a label accordingly. How many such oracle queries are needed to recover both of the models simultaneously? This question can also be thought of as a generalization of the well-known compressed sensing problem (Candès and Tao, 2005, Donoho, 2006). In this work, we address this query complexity problem and provide efficient algorithms that improves on the previously best known results.

研究动机与目标

• 解决在可设计并查询特征时，学习两个稀疏线性模型混合体的查询复杂度问题。
• 克服先前工作所需限制性假设（如离散系数值或精确稀疏性）的局限性。
• 提供一种通用恢复算法，适用于任意稀疏向量，且无需对系数结构有先验知识。
• 在模型参数空间接近的情况下，以最少的查询实现对两个模型的高概率恢复。
• 建立随稀疏性、信噪比和期望恢复精度呈有利增长的查询复杂度边界。

提出的方法

• 设计两阶段查询策略：首先利用随机投影根据其不同的线性响应分离两个模型。
• 利用测量矩阵的限制等距性质（RIP）确保稀疏信号的稳定恢复。
• 通过凸优化应用基追踪，从分组样本中估计每个模型，最小化数据保真约束下的L1范数。
• 使用切尔诺夫不等式确保信息性查询的高概率集中，使得模型响应之间的差异在噪声之上可检测。
• 定义噪声因子 NF = γ/σ 和信噪比（SNR），以表征查询效率，并基于这些参数推导样本复杂度。
• 引入一种排列不变的恢复保证，即估计模型可正确匹配至真实模型，仅标签顺序可能不同。

实验结果

研究问题

• RQ1 从混合响应中恢复两个未知稀疏线性模型所需的最少查询数量是多少？
• RQ2 如何设计查询，使得生成的样本能够实现对两个模型的分离与恢复，且无需事先了解其结构？
• RQ3 我们能否在保持低查询复杂度的同时，消除对离散系数值或精确稀疏性的限制性假设？
• RQ4 查询复杂度如何随稀疏性 k、维度 n、噪声水平 σ 和期望恢复精度 γ 变化？
• RQ5 两模型之间的差异（‖β¹ − β²‖₂）对所需查询数量有何影响？

主要发现

• 所提算法实现的查询复杂度为 O(k log n log k ⌈log k / log(√SNR / NF)⌉ ⌈1/(NF⁴√SNR) + 1/NF²⌉)，相较于先前工作，通过去除限制性假设实现了改进。
• 该方法适用于一般稀疏向量，无需精确稀疏性或离散系数值，因此适用于真实世界数据。
• 当 γ < ‖β¹ − β²‖₂ / 2 时，算法以高概率恢复两个模型，且误差有界于 O(γ) 加上与最佳k稀疏逼近相关的项。
• 当 γ = Ω(‖β¹ − β²‖₂) 时，问题退化为单模型恢复，查询复杂度简化为 O(k log n ⌈log k⌉)，与标准压缩感知边界的复杂度一致。
• 分析表明，信息性查询的数量在其期望值附近高度集中，从而确保以高概率实现可靠恢复。
• 样本复杂度仅依赖于 k、n、SNR 和精度参数 γ，且不具有对 1/ε 的指数依赖，这与先前方法不同。