[论文解读] Robust Subspace Iteration and Privacy-Preserving Spectral Analysis

Moritz Hardt|arXiv (Cornell University)|Nov 11, 2013

Sparse and Compressive Sensing Techniques被引用 10

一句话总结

本文提出噪声幂方法（noisy power method），一种在每次矩阵-向量乘法后存在显著噪声情况下的幂方法鲁棒变体，用于计算主导奇异向量。该文提供了统一且改进现有结果的一般收敛性分析，适用于流式PCA和差分隐私谱分析等应用，解决了这些领域中的开放问题。

ABSTRACT

We provide a new robust convergence analysis of the well-known power method for computing the dominant singular vectors of a matrix that we call the noisy power method. Our result characterizes the convergence behavior of the algorithm when a significant amount noise is introduced after each matrix-vector multiplication. The noisy power method can be seen as a meta-algorithm that has recently found a number of important applications in a broad range of machine learning problems including alternating minimization for matrix completion, streaming principal component analysis (PCA), and privacy-preserving spectral analysis. Our general analysis subsumes several existing ad-hoc convergence bounds and resolves a number of open problems in multiple applications including streaming PCA and privacy-preserving singular vector computation.

研究动机与目标

• 开发一种在每次迭代后存在显著噪声情况下的幂方法的鲁棒收敛性分析。
• 统一并推广机器学习应用中现有非系统性收敛边界。
• 解决流式PCA和差分隐私奇异向量计算中的开放问题。
• 提供一个适用于多种谱分析任务的元算法框架。

提出的方法

• 提出噪声幂方法作为元算法，其中在每次矩阵-向量乘法后注入噪声。
• 分析在迭代过程中对抗性或随机噪声模型下的收敛性。
• 推导出依赖于噪声大小和谱间隙的一般收敛边界。
• 将该框架应用于现有算法，如交替最小化和差分隐私PCA。
• 使用谱范数和奇异值间隙来表征收敛速度。
• 建立在噪声扰动下收敛性仍能保持的条件。

实验结果

研究问题

• RQ1 当在每次矩阵-向量乘法后引入显著噪声时，幂方法的行为如何？
• RQ2 能否为矩阵补全和差分隐私PCA等多样化应用开发统一的收敛性分析？
• RQ3 在实际噪声模型下，噪声谱方法收敛所需的必要条件是什么？
• RQ4 现有流式PCA和差分隐私中的非系统性边界与新的一般框架有何关系？

主要发现

• 噪声幂方法即使在显著噪声下也能实现稳定收敛，收敛速度取决于谱间隙和噪声水平。
• 该分析涵盖了并改进了在矩阵补全中交替最小化方法的先前非系统性收敛边界。
• 该框架通过提供更紧致且更通用的收敛性保证，解决了流式PCA中的开放问题。
• 通过有原则地注入噪声，该方法在差分隐私谱分析中实现了更强的隐私保证。