[论文解读] Structured Block Basis Factorization for Scalable Kernel Matrix Evaluation.

Ruoxi Wang, Yingzhou Li+2 more|arXiv (Cornell University)|May 3, 2015

Sparse and Compressive Sensing Techniques参考文献 23被引用 5

一句话总结

本文提出结构化块基分解（Structured Block Basis Factorization），一种新颖的块低秩近似方法，可在广泛范围的核参数下实现核矩阵计算的 $\mathcal{O}(n)$ 时间与内存复杂度。通过将低秩近似方法从传统的平滑、低秩区域扩展至非平滑区域，该方法在保持高精度与稳定性的同时，优于当前最先进的方法，在效率与鲁棒性方面表现更优。

ABSTRACT

Kernel matrices are popular in machine learning and scientific computing, but they are limited by their quadratic complexity in both construction and storage. It is well-known that as one varies the kernel parameter, e.g., the width parameter in radial basis function kernels, the kernel matrix changes from a smooth low-rank kernel to a diagonally-dominant and then fully-diagonal kernel. Low-rank approximation methods have been widely-studied, mostly in the first case, to reduce the memory storage and the cost of computing matrix-vector products. Here, we use ideas from scientific computing to propose an extension of these methods to situations where the matrix is not well-approximated by a low-rank matrix. In particular, we construct an efficient block low-rank approximation method---which we call the Block Basis Factorization---and we show that it has $\mathcal{O}(n)$ complexity in both time and memory. Our method works for a wide range of kernel parameters, extending the domain of applicability of low-rank approximation methods, and our empirical results demonstrate the stability (small standard deviation in error) and superiority over current state-of-art kernel approximation algorithms.

研究动机与目标

• 解决在不同核参数下核矩阵构建与存储中的二次时间复杂度瓶颈问题。
• 将低秩近似方法的应用范围从传统的平滑、低秩区域扩展至对角占优及完全对角核矩阵。
• 开发一种块低秩分解方法，使其在广泛核参数范围内保持高精度与高稳定性。
• 实现核矩阵计算的 $\mathcal{O}(n)$ 时间与内存复杂度，从而支持可扩展计算。
• 在效率与误差稳定性方面超越现有最先进的核近似算法。

提出的方法

• 该方法提出一种结构化的块低秩近似框架，称为块基分解（Block Basis Factorization），旨在处理不同参数区域下的核矩阵。
• 它借鉴科学计算中的洞察，将低秩技术适配于非低秩核矩阵（如对角占优或近乎对角的矩阵）。
• 该分解方法将核矩阵划分为多个块，并根据每个块的局部结构选择性地应用低秩近似。
• 通过根据核参数与矩阵结构动态调整块大小与近似秩，确保数值稳定性。
• 通过利用分层结构与分块低秩表示，实现 $\mathcal{O}(n)$ 复杂度。
• 该方法设计用于在径向基函数核参数的全范围内保持鲁棒性，涵盖从平滑到对角极限的各类情况。

实验结果

研究问题

• RQ1 低秩近似技术能否被扩展至无法用低秩结构良好近似的核矩阵（如对角占优或完全对角矩阵）？
• RQ2 基于块的低秩分解方法是否能在不同核参数下实现核矩阵计算的 $\mathcal{O}(n)$ 时间与内存复杂度？
• RQ3 所提出的块基分解方法在精度与稳定性方面相较于现有最先进的核近似算法表现如何？
• RQ4 核参数的变化对低秩近似方法的性能与鲁棒性有何影响？
• RQ5 能否开发一种统一框架，在核矩阵行为的全范围内保持高精度与高效率？

主要发现

• 块基分解在核矩阵计算中实现了 $\mathcal{O}(n)$ 的时间与内存复杂度，支持可扩展计算。
• 该方法在不同核参数下保持高精度与高稳定性，误差的标准差较小。
• 在效率与鲁棒性方面，其表现优于当前最先进的核近似算法。
• 该方法成功将低秩近似扩展至以往被认为超出其适用范围的区域，如对角占优与完全对角核矩阵。
• 实验结果证实，该方法在广泛核参数范围内均表现出优异的稳定性与优越性。