[论文解读] Online Adaptive Statistical Compressed Sensing of Gaussian Mixture Models

Julio M. Duarte‐Carvajalino, Guillermo Sapiro+2 more|arXiv (Cornell University)|Dec 26, 2011

Sparse and Compressive Sensing Techniques参考文献 7被引用 8

一句话总结

本文提出了一种针对高斯混合模型（GMM）信号的在线自适应统计压缩感知框架，其中初始的非自适应测量实现实时模型选择，随后切换至针对特定模型的最优感知。与使用完全随机测量的标准统计压缩感知相比，该方法将平均重建误差降低了最多35%，尤其在 $ K \approx M/2 $ 时表现显著，且计算成本仅略有增加。

ABSTRACT

A framework of online adaptive statistical compressed sensing is introduced for signals following a mixture model. The scheme first uses non-adaptive measurements, from which an online decoding scheme estimates the model selection. As soon as a candidate model has been selected, an optimal sensing scheme for the selected model continues to apply. The final signal reconstruction is calculated from the ensemble of both the non-adaptive and the adaptive measurements. For signals generated from a Gaussian mixture model, the online adaptive sensing algorithm is given and its performance is analyzed. On both synthetic and real image data, the proposed adaptive scheme considerably reduces the average reconstruction error with respect to standard statistical compressed sensing that uses fully random measurements, at a marginally increased computational complexity.

研究动机与目标

• 解决标准统计压缩感知（SCS）使用固定随机感知矩阵的局限性，当底层信号分布未知时，此类矩阵次优。
• 降低遵循高斯混合模型（GMM）信号的压缩感知中的平均重建误差，因为GMM比单高斯分布更能真实建模现实世界信号。
• 开发一种框架，基于在线模型选择动态调整感知，从非自适应阶段过渡到最优、特定于模型的感知。
• 通过利用GMM的结构和主方向感知，实现显著的误差降低，同时计算开销最小。
• 在合成数据和真实图像块上展示该方法的有效性，表明其在具有完全随机测量的基线SCS上的一致性改进。

提出的方法

• 使用初始的非自适应随机测量（$K$ 次测量）从GMM中估计信号的潜在高斯分量。
• 应用一种在线解码方案，基于初始测量实时执行模型选择，识别出生成该信号的混合中的哪个高斯分量。
• 一旦选定模型，即切换至沿选定高斯分量主方向的最优感知，以最小化该分量的均方误差（MSE）。
• 使用基于集合的解码器，结合初始非自适应阶段和自适应阶段的测量进行信号重建。
• 利用GMM的统计压缩感知理论基础，其中每个高斯分量的最优感知已知可最小化MSE。
• 将感知策略表述为两阶段过程：(1) 通过随机投影进行模型识别；(2) 对识别出的分量使用基于主成分分析（PCA）的最优方向进行自适应感知。

实验结果

研究问题

• RQ1 能否通过初始随机测量的在线模型选择，实现相比使用完全随机感知的标准SCS的显著重建误差降低？
• RQ2 自适应感知方案的性能如何依赖于模型选择阶段的初始随机测量数（$K$）？
• RQ3 在模型选择准确度与自适应阶段可用于最优感知的测量数之间存在何种权衡？
• RQ4 与使用随机感知的标准SCS相比，该框架在真实图像数据上能将平均重建误差降低多少？
• RQ5 鉴于不同分布下最优感知的理论基础，该框架能否扩展到GMM以外的其他混合模型？

主要发现

• 在线自适应SCS实现的最小重建误差为使用完全随机测量的标准SCS误差的0.65倍（即降低35%），在 $ M = 16 $ 时最优性能出现在 $ K = 9 $。
• 作为 $ K $ 函数的MSE曲线呈现U形，表明存在权衡：更大的 $ K $ 提升模型选择准确性（有益），但减少可用于最优感知的测量数（有害）。
• 在真实图像数据（Lena、House、Peppers）上，所提方法相比标准SCS实现高达1.5 dB的PSNR提升，最优性能出现在 $ K = 9 $ 或 $ 10 $。
• 该性能增益在不同信号维度和协方差衰减参数（$ \alpha $）下均保持稳健，且在 $ M $ 和 $ \alpha $ 较大时增益更显著。
• 该框架在计算复杂度仅略有增加的情况下，显著优于标准SCS，尤其当 $ K \approx M/2 $ 时。
• 随着 $ K $ 增大，在线模型选择误差收敛至最终模型选择误差，证实了早期推断在模型切换中的可靠性。