[论文解读] oASIS: Adaptive Column Sampling for Kernel Matrix Approximation

Raajen Patel, Thomas Goldstein+3 more|arXiv (Cornell University)|May 19, 2015

Sparse and Compressive Sensing Techniques参考文献 31被引用 8

一句话总结

oASIS 是一种新颖的自适应列采样算法，用于低秩核矩阵逼近，可在不显式计算完整核矩阵的情况下选择信息丰富的列。通过利用核函数评估和迭代逆更新，它在 r 步内实现精确的秩恢复，运行时间为线性 O(n)，在大规模数据集（包括 100 万个点的示例）上，其速度和可扩展性优于当前最先进的方法。

ABSTRACT

Kernel matrices (e.g. Gram or similarity matrices) are essential for many state-of-the-art approaches to classification, clustering, and dimensionality reduction. For large datasets, the cost of forming and factoring such kernel matrices becomes intractable. To address this challenge, we introduce a new adaptive sampling algorithm called Accelerated Sequential Incoherence Selection (oASIS) that samples columns without explicitly computing the entire kernel matrix. We provide conditions under which oASIS is guaranteed to exactly recover the kernel matrix with an optimal number of columns selected. Numerical experiments on both synthetic and real-world datasets demonstrate that oASIS achieves performance comparable to state-of-the-art adaptive sampling methods at a fraction of the computational cost. The low runtime complexity of oASIS and its low memory footprint enable the solution of large problems that are simply intractable using other adaptive methods.

研究动机与目标

• 解决机器学习应用中构建和分解大核矩阵的计算不可行性。
• 克服现有自适应采样方法在可扩展性方面的局限性，这些方法需要 O(n²) 次操作并存储完整的核矩阵。
• 开发一种在不预先计算整个核矩阵的情况下选择信息列的方法，从而实现对大规模数据集的应用。
• 在最优步数内实现核矩阵的精确低秩恢复，同时保持低内存和运行时间复杂度。
• 实现在传统方法无法处理的超大规模数据集上自适应采样的实际部署，包括稀疏和高维数据。

提出的方法

• oASIS 使用基于顺序非相干性的贪心自适应列选择策略，选择能最大程度减少残差误差的列，而无需构建完整的核矩阵。
• 它仅通过在数据上进行核函数评估来计算列选择概率，避免显式存储 n×n 的核矩阵。
• 该算法迭代维护并更新一个可逆矩阵 W⁻¹，避免了随机采样方法所需的昂贵伪逆计算。
• oASIS 利用核矩阵的对称性，仅通过先前采样的列和核函数评估来预测信息丰富的列。
• 通过避免密集的 n×n 矩阵运算，每列选择的时间复杂度为 O(n)，从而实现与数据集规模的线性可扩展性。
• 该方法支持并行化和稀疏矩阵结构，仅存储 ℓ×n 子矩阵，而非完整的 n×n 矩阵。

实验结果

研究问题

• RQ1 是否可以在不显式计算完整核矩阵的情况下执行自适应列采样，从而降低内存和计算成本？
• RQ2 oASIS 是否能在恰好 r 步内实现核矩阵的精确低秩恢复，其中 r 是矩阵的秩？
• RQ3 oASIS 是否能在与数据集规模线性扩展的同时保持高逼近精度，优于均匀随机采样和现有自适应采样方法？
• RQ4 oASIS 在稀疏核矩阵上的表现如何，尤其是在与需要密集残差计算的方法对比时？
• RQ5 oASIS 是否能够高效并行化，并应用于任意大小的数据集，包括包含 100 万个以上数据点的数据集？

主要发现

• oASIS 在恰好 r 步内实现对秩为 r 的核矩阵的精确恢复，保证了最优的列选择。
• 在 Two Moons 和 Abalone 数据集上，oASIS 的逼近精度与 K-means Nyström 等最先进的方法相当，但耗时显著更短。
• 在 100 万个点的数据集上，oASIS 的逼近误差仅为均匀随机采样的 1%，在大规模场景下展现出卓越的精度。
• oASIS-P（并行版本）在采样和构建 ℓ 列时所用时间不到均匀随机采样所需时间的一半，尽管其理论复杂度看似更高。
• oASIS 通过迭代计算 W⁻¹ 避免了随机采样中常见的秩亏缺 W 矩阵问题，消除了对伪逆计算的需求。
• 当数据集达到 100 万个点时，oASIS 依然可行，而均匀随机采样在计算 W† 时因内存限制，超过约 4,500 列后即变得不可行。