[论文解读] PCA with Gaussian perturbations

Wojciech Kotłowski, Manfred K. Warmuth|arXiv (Cornell University)|Jun 16, 2015

Machine Learning and Algorithms参考文献 14被引用 5

一句话总结

该论文提出了一种新颖的在线秩-$k$主成分分析（PCA）算法，通过使用独立同分布的高斯扰动，将每轮所需的昂贵$O(n^3)$特征分解替换为$O(kn^2)$的运算，从而实现接近最优的遗憾值，且仅引入$O(n^{1/4})$的因子偏差，使每轮计算达到线性时间复杂度，同时保持了优异的泛化性能。

ABSTRACT

Most of machine learning deals with vector parameters. Ideally we would like to take higher order information into account and make use of matrix or even tensor parameters. However the resulting algorithms are usually inefficient. Here we address on-line learning with matrix parameters. It is often easy to obtain online algorithm with good generalization performance if you eigendecompose the current parameter matrix in each trial (at a cost of $O(n^3)$ per trial). Ideally we want to avoid the decompositions and spend $O(n^2)$ per trial, i.e. linear time in the size of the matrix data. There is a core trade-off between the running time and the generalization performance, here measured by the regret of the on-line algorithm (total gain of the best off-line predictor minus the total gain of the on-line algorithm). We focus on the key matrix problem of rank $k$ Principal Component Analysis in $\mathbb{R}^n$ where $k \ll n$. There are $O(n^3)$ algorithms that achieve the optimum regret but require eigendecompositions. We develop a simple algorithm that needs $O(kn^2)$ per trial whose regret is off by a small factor of $O(n^{1/4})$. The algorithm is based on the Follow the Perturbed Leader paradigm. It replaces full eigendecompositions at each trial by the problem finding $k$ principal components of the current covariance matrix that is perturbed by Gaussian noise.

研究动机与目标

• 解决现有在线PCA算法每轮需进行$O(n^3)$特征分解所导致的计算效率低下问题。
• 将运行时间从$O(n^3)$降低至$O(kn^2)$，同时保持强泛化性能。
• 开发一种可高效扩展至大矩阵规模的实用在线学习方法，用于矩阵参数学习。
• 分析在线矩阵学习中计算效率与遗憾之间的权衡。

提出的方法

• 该算法采用跟随扰动领导者（FPL）范式，避免在每轮中进行完整的特征分解。
• 计算经过独立同分布高斯噪声扰动后的协方差矩阵的前$k$个主成分。
• 扰动使得可通过幂迭代或类似方法高效计算主导成分，将复杂度从$O(n^3)$降低至$O(kn^2)$。
• 扰动在每轮独立抽取，确保探索性的同时保持稳定性。
• 算法维护一个参数矩阵，并根据扰动后的主成分进行更新。
• 遗憾值通过扰动引入的偏差进行分析，其相对于最优离线解的偏差被限制在$O(n^{1/4})$以内。

实验结果

研究问题

• RQ1 我们能否在显著降低计算成本的前提下，实现在在线PCA中接近最优的遗憾值？
• RQ2 高斯扰动如何影响在线PCA算法的稳定性和收敛性？
• RQ3 在线矩阵学习中，计算复杂度与遗憾之间存在何种权衡？
• RQ4 FPL框架能否被有效适配至具有低秩结构的矩阵参数学习？

主要发现

• 所提出的算法每轮运行时间为$O(kn^2)$，远快于完整特征分解的$O(n^3)$成本。
• 该算法的遗憾值在最优离线遗憾值的$O(n^{1/4})$因子范围内。
• 使用高斯扰动使得无需显式进行特征分解即可高效计算前$k$个主成分。
• 该方法在大幅降低计算开销的同时，保持了优异的泛化性能。