[论文解读] The spiked matrix model with generative priors

Benjamin Aubin, Bruno Loureiro+3 more|arXiv (Cornell University)|May 29, 2019

Blind Source Separation Techniques参考文献 51被引用 8

一句话总结

本文研究了具有生成先验的尖刺矩阵模型，以神经网络驱动的生成模型替代传统的稀疏性假设来建模尖刺。研究表明，近似消息传递（AMP）可实现贝叶斯最优性能，并提出了增强型谱算法（LAMP），其性能优于主成分分析（PCA）。通过随机矩阵理论分析了相变行为，并在真实数据上进行了验证。

ABSTRACT

Using a low-dimensional parametrization of signals is a generic and powerful way to enhance performance in signal processing and statistical inference. A very popular and widely explored type of dimensionality reduction is sparsity; another type is generative modelling of signal distributions. Generative models based on neural networks, such as GANs or variational auto-encoders, are particularly performant and are gaining on applicability. In this paper we study spiked matrix models, where a low-rank matrix is observed through a noisy channel. This problem with sparse structure of the spikes has attracted broad attention in the past literature. Here, we replace the sparsity assumption by generative modelling, and investigate the consequences on statistical and algorithmic properties. We analyze the Bayes-optimal performance under specific generative models for the spike. In contrast with the sparsity assumption, we do not observe regions of parameters where statistical performance is superior to the best known algorithmic performance. We show that in the analyzed cases the approximate message passing algorithm is able to reach optimal performance. We also design enhanced spectral algorithms and analyze their performance and thresholds using random matrix theory, showing their superiority to the classical principal component analysis. We complement our theoretical results by illustrating the performance of the spectral algorithms when the spikes come from real datasets.

研究动机与目标

• 研究当尖刺受生成先验约束而非稀疏性时，尖刺矩阵模型的统计性能与算法性能。
• 确定是否存在统计性能超过已知最佳算法性能的区域，如在稀疏模型中所见。
• 设计并分析利用生成先验的增强型谱算法（LAMP），其性能优于经典PCA。
• 通过真实数据集验证理论结果，并比较不同激活函数（线性、ReLU、符号函数）下的性能表现。

提出的方法

• 采用贝叶斯最优推断框架，通过复制技巧计算最小均方误差（MMSE）和互信息。
• 提出一种专为生成先验设计的近似消息传递（AMP）算法，并为Wigner和Wishart模型推导出状态演化方程。
• 引入线性化AMP（LAMP）算法，该算法推广了谱方法，并通过随机矩阵理论分析其性能。
• 在线性情况下推导LAMP与PCA的状态演化方程，实现重建阈值的理论比较。
• 应用Stieltjes变换与自由概率工具分析LAMP算子的谱密度，尤其关注非对称情形。
• 通过真实数据集上的仿真验证理论结果，比较LAMP、AMP与PCA在不同激活函数和压缩比下的性能表现。

实验结果

研究问题

• RQ1 用生成先验替代稀疏性是否消除了在稀疏尖刺模型中观察到的统计性能超过算法性能的区域？
• RQ2 当尖刺由深度生成模型生成时，近似消息传递（AMP）能否实现贝叶斯最优性能？
• RQ3 与经典PCA相比，LAMP等增强型谱算法在重建误差和相变阈值方面表现如何？
• RQ4 不同非线性激活函数（线性、ReLU、符号函数）对LAMP与AMP在尖刺Wishart模型中的性能与稳定性有何影响？
• RQ5 由状态演化预测的理论相变是否可在使用生成先验的真实数据模拟中观察到？

主要发现

• 与稀疏尖刺模型相反，在使用生成先验时，未发现统计性能超过最佳已知算法性能的区域。
• 在生成先验下，近似消息传递（AMP）算法在Wigner和Wishart模型中均实现了贝叶斯最优性能。
• 在尖刺Wishart模型中，LAMP算法显著优于经典PCA，其成功重建的相变阈值更高。
• 在线性激活情况下，LAMP与AMP均达到理论相变阈值，而PCA在噪声阈值以下无法恢复尖刺。
• 相图显示，在低信噪比下，ReLU与符号激活函数的MMSE高于线性激活，但在高信噪比下三者均收敛至最优性能。
• 真实数据仿真结果表明，LAMP与AMP在各种压缩比下均保持高性能，且LAMP始终优于PCA。