[论文解读] Scale Up Nonlinear Component Analysis with Doubly Stochastic Gradients

Bo Xie, Yingyu Liang+1 more|arXiv (Cornell University)|Apr 14, 2015

Sparse and Compressive Sensing Techniques参考文献 25被引用 17

一句话总结

本文提出了一种双重随机梯度方法，通过结合随机数据采样与随机特征近似，实现了对核主成分分析（KPCA）和典型相关分析（CCA）等非线性组件分析方法的可扩展性提升。该方法在无需显式正交化的情况下，实现了对全局最优解的 $\tilde{O}(1/t)$ 有限时间收敛率，从而能够在大规模数据集（包含数百万个数据点）上实现高效且内存友好的训练。

ABSTRACT

Nonlinear component analysis such as kernel Principle Component Analysis (KPCA) and kernel Canonical Correlation Analysis (KCCA) are widely used in machine learning, statistics and data analysis, but they can not scale up to big datasets. Recent attempts have employed random feature approximations to convert the problem to the primal form for linear computational complexity. However, to obtain high quality solutions, the number of random features should be the same order of magnitude as the number of data points, making such approach not directly applicable to the regime with millions of data points. We propose a simple, computationally efficient, and memory friendly algorithm based on the "doubly stochastic gradients" to scale up a range of kernel nonlinear component analysis, such as kernel PCA, CCA and SVD. Despite the \emph{non-convex} nature of these problems, our method enjoys theoretical guarantees that it converges at the rate $ ilde{O}(1/t)$ to the global optimum, even for the top $k$ eigen subspace. Unlike many alternatives, our algorithm does not require explicit orthogonalization, which is infeasible on big datasets. We demonstrate the effectiveness and scalability of our algorithm on large scale synthetic and real world datasets.

研究动机与目标

• 解决在包含数百万个数据点的大规模数据集上，基于核的非线性组件分析方法（如KPCA和KCCA）的可扩展性限制问题。
• 克服批量方法和标准随机梯度方法在存储所有数据点方面的内存与计算瓶颈。
• 开发一种避免显式正交化的方法，因为这对大规模核方法而言在计算上不可行。
• 在双重随机框架下，为非凸核组件分析问题提供理论收敛保证。
• 通过在新数据到达时动态增加随机特征数量，实现模型复杂度的自适应调整。

提出的方法

• 通过同时采样随机数据点和随机特征，使用双重随机梯度，替代完整的批量计算和完整的核矩阵计算。
• 通过显式随机特征映射实现原始形式优化，从而实现线性计算复杂度。
• 应用随机幂迭代更新来估计top-k特征子空间，而无需显式正交化。
• 通过使用固定随机种子重新生成随机特征，避免存储训练数据，从而保持较小的内存占用。
• 采用小批量更新，每次迭代仅在数据点的小子集上评估随机特征。
• 理论分析依赖于通过集中不等式对随机梯度中的近似误差进行有界，并结合递归误差传播进行分析。

实验结果

研究问题

• RQ1 双重随机梯度能否有效应用于如KPCA和KCCA等非凸核组件分析问题？
• RQ2 尽管问题具有非凸性，所提出的方法是否仍能实现在有限时间内的全局最优收敛？
• RQ3 该方法是否能在保持低内存占用和高精度的同时，扩展到包含数百万个数据点的数据集？
• RQ4 在大规模设置下，缺乏显式正交化对收敛性和性能有何影响？
• RQ5 该方法能否通过在数据增长时增加随机特征数量，实现模型复杂度的自适应提升？

主要发现

• 所提出的方法即使在非凸设置下，也能实现对top-k特征子空间的全局最优解的 $\tilde{O}(1/t)$ 有限时间收敛率。
• 该方法在无需显式正交化的情况下实现收敛，而显式正交化对大规模核方法而言在计算上是不可行的。
• 该算法可扩展至包含数百万个数据点的数据集，在合成数据和真实世界数据上均表现出强劲的实证性能。
• 该方法支持动态增加随机特征数量，从而在流式数据环境中实现非参数灵活性。
• 理论分析证实，期望误差以 $\tilde{O}(1/t)$ 的速率衰减，且满足 $1 - c_t^2 = O(\frac{1}{t} \ln \frac{t}{\delta})$，表明其能快速收敛至真实子空间。
• 实证结果表明，使用更多随机特征可显著提升解的质量，优于固定特征的基线方法。