[论文解读] The Noisy Power Method: A Meta Algorithm with Applications

Moritz Hardt, Eric Price|arXiv (Cornell University)|Nov 11, 2013

Sparse and Compressive Sensing Techniques参考文献 18被引用 102

一句话总结

本文提出了噪声幂方法（noisy power method），一种在显著噪声下计算矩阵主导奇异向量的鲁棒元算法，适用于流式PCA、矩阵补全和差分隐私PCA。该方法提供了通用的收敛性分析，涵盖了先前的特定场景分析，并首次实现了近乎线性时间的差分隐私PCA算法，其误差界近乎最优，通过依赖矩阵相干性，提升了最坏情况和平均情况下的性能。

ABSTRACT

We provide a new robust convergence analysis of the well-known power method for computing the dominant singular vectors of a matrix that we call the noisy power method. Our result characterizes the convergence behavior of the algorithm when a significant amount noise is introduced after each matrix-vector multiplication. The noisy power method can be seen as a meta-algorithm that has recently found a number of important applications in a broad range of machine learning problems including alternating minimization for matrix completion, streaming principal component analysis (PCA), and privacy-preserving spectral analysis. Our general analysis subsumes several existing ad-hoc convergence bounds and resolves a number of open problems in multiple applications including streaming PCA and privacy-preserving singular vector computation.

研究动机与目标

• 开发一种适用于多种噪声矩阵计算场景的噪声幂方法的通用收敛性分析。
• 通过超越经典尖刺协方差模型的更简单、更通用的分析，解决流式PCA中的开放问题。
• 设计首个近乎线性时间的差分隐私PCA算法，其误差界近乎最优。
• 证明误差对矩阵维度的依赖可被相干性所替代，从而实现平均情况下的显著性能提升。

提出的方法

• 噪声幂方法在每次矩阵-向量乘法后添加噪声，并通过QR分解保持或正交性。
• 该方法在一般噪声假设下进行分析，包括每次矩阵-向量乘积后出现的对抗性或自适应扰动。
• 关键技术是使用矩阵切尔诺夫不等式来控制收敛分析中噪声的集中性。
• 利用高斯噪声的符号对称性和旋转不变性，来界定迭代值的无穷范数。
• 定义一个确定性函数以描述在独立同分布高斯噪声下算法的行为，从而支持分布分析。
• 利用正交变换下的不变性性质，证明算法输出分布对输入矩阵的正交变换保持不变。

实验结果

研究问题

• RQ1 能否通过单一鲁棒收敛性分析，统一现有针对噪声下幂方法的特定场景分析？
• RQ2 在任意初始子空间和一般噪声模型下，噪声幂方法是否具有全局收敛性？
• RQ3 噪声幂方法能否在差分隐私PCA中实现近乎最优的误差界？
• RQ4 在私有化PCA中，能否用相干性替代对矩阵维度的误差依赖，从而获得更紧的界？
• RQ5 在流式PCA中，噪声幂方法是否能在尖刺协方差模型之外提供可证明的收敛性保证？

主要发现

• 当噪声相对于谱间隙有界时，即使初始子空间为随机，噪声幂方法也能以高概率实现全局收敛。
• 在流式PCA中，分析证实了在任意分布下均能收敛，而不仅限于尖刺协方差模型，并在自然参数范围内优于先前的边界。
• 本文首次提供了近乎线性时间的差分隐私PCA算法，其最坏情况误差界近乎紧密。
• 误差对矩阵维度的依赖被替换为对相干性的依赖，而相干性通常小得多，从而带来了显著的平均情况性能提升。
• 收敛速率为 O(σₖ / (σₖ − σₖ₊₁)) log(dτ/ε)，与最优速率仅相差对数因子。
• 分析表明，算法输出在输入矩阵的正交变换下保持不变，从而支持分布对称性论证。