[论文解读] Streaming Kernel Principal Component Analysis

Mina Ghashami, Daniel J. Perry+1 more|arXiv (Cornell University)|Dec 16, 2015

Sparse and Compressive Sensing Techniques被引用 3

一句话总结

本文提出SKPCA，一种流式核主成分分析方法，通过随机特征映射与矩阵低秩压缩技术，在保持小规模对数空间基向量集合的同时，实现了对误差参数依赖性更优的谱范数误差界，测试时间性能优于当前最先进方法，且在准确率与空间效率方面达到或超越现有方法。

ABSTRACT

Kernel principal component analysis (KPCA) provides a concise set of basis vectors which capture non-linear structures within large data sets, and is a central tool in data analysis and learning. To allow for non-linear relations, typically a full $n imes n$ kernel matrix is constructed over $n$ data points, but this requires too much space and time for large values of $n$. Techniques such as the Nyström method and random feature maps can help towards this goal, but they do not explicitly maintain the basis vectors in a stream and take more space than desired. We propose a new approach for streaming KPCA which maintains a small set of basis elements in a stream, requiring space only logarithmic in $n$, and also improves the dependence on the error parameter. Our technique combines together random feature maps with recent advances in matrix sketching, it has guaranteed spectral norm error bounds with respect to the original kernel matrix, and it compares favorably in practice to state-of-the-art approaches.

研究动机与目标

• 为解决传统核主成分分析在大规模n下因需存储n×n核矩阵而导致的高空间与时间复杂度问题。
• 开发一种流式算法，实现实时维护基向量，仅使用极小空间，避免完整核矩阵的计算。
• 改进谱范数与Frobenius范数误差界中对误差参数ε的依赖关系。
• 实现将新数据点映射至核特征空间的低测试时间开销。
• 结合随机特征映射与矩阵低秩压缩，构建一种可证明准确、高效且可扩展的流式KPCA解决方案。

提出的方法

• 该方法利用随机特征映射，将核诱导的再生核希尔伯特空间（RKHS）嵌入到有限维欧氏空间中。
• 采用矩阵低秩压缩技术，以流式方式维护核矩阵的低秩近似，将空间复杂度降低至O(m log n)，其中m为随机特征数量。
• 算法在特征空间中维护数据的压缩表示，并对压缩矩阵执行在线SVD以提取主成分。
• 采用随机化降维方法，将数据投影至低维空间，同时保持谱范数误差的保证。
• 该方法支持增量更新：新数据点被映射至特征空间后，仅需更新压缩表示，无需从头计算。
• 最终表示通过将映射后的数据投影至前ℓ个主成分获得，从而实现高效的测试时间推理。

实验结果

研究问题

• RQ1 我们能否设计一种流式KPCA算法，使基向量的存储复杂度为n的对数级，而非O(n²)？
• RQ2 与现有方法相比，我们能否在谱范数误差界中实现对误差参数ε更紧密的依赖关系？
• RQ3 将随机特征映射与矩阵低秩压缩结合，是否能获得比Nyström或基于随机特征映射的方法更优的测试时间性能？
• RQ4 在不同数据分布与核类型下，该方法在准确率与效率方面表现如何？
• RQ5 该方法能否在支持大规模流式数据实时更新的同时，保持可证明的误差界？

主要发现

• SKPCA实现了O(m log n)的空间复杂度，其中m为随机特征数量，与O(n²)的完整核矩阵存储相比，显著降低了存储开销。
• 该方法提供了形式为||G - G'||₂ / n ≤ ε的谱范数误差界保证，且对误差参数ε的依赖关系相比先前方法更优。
• 在测试时间推理中，SKPCA对每个数据点仅需O(dm)时间，相比Nyström（O(cd + c²)）与RNCA（O(dm)）在某些情况下实现了数量级上的性能提升。
• 在CPU、Adult与Forest数据集上的实验表明，SKPCA在Frobenius与谱范数误差方面与RNCA和Nyström相当或更优，尤其在小样本量下表现更佳。
• SKPCA在训练时间性能上表现出色，由于避免了O(n m²)的外积计算，相比RNCA具有显著优势。
• 该方法在不同数据分布下表现出鲁棒性，即使在信噪比偏低时，误差增长也极小。