[论文解读] Robust Blockwise Random Pivoting: Fast and Accurate Adaptive Interpolative Decomposition

Yijun Dong, Chao Chen+2 more|arXiv (Cornell University)|Sep 27, 2023

Sparse and Compressive Sensing TechniquesEngineering被引用 3

一句话总结

本文提出鲁棒分块随机主元选择（RBRP），一种可并行化、具备误差揭示能力且能揭示精确ID的快速且精确的插值分解（ID）算法。RBRP在实现近似最优骨架复杂度与渐近效率的同时，支持自动秩检测与精确的插值矩阵构建，在多种数据集上的鲁棒性与实际性能均优于现有方法。

ABSTRACT

The interpolative decomposition (ID) aims to construct a low-rank approximation formed by a basis consisting of row/column skeletons in the original matrix and a corresponding interpolation matrix. This work explores fast and accurate ID algorithms from comprehensive perspectives for empirical performance, including accuracy in both skeleton selection and interpolation matrix construction, efficiency in terms of asymptotic complexity and hardware efficiency, as well as rank adaptiveness. While many algorithms have been developed to optimize some of these aspects, practical ID algorithms proficient in all aspects remain absent. To fill in the gap, we introduce robust blockwise random pivoting (RBRP) that is asymptotically fast, hardware-efficient, and rank-adaptive, providing accurate skeletons and interpolation matrices comparable to the best existing ID algorithms in practice. Through extensive numerical experiments on various synthetic and natural datasets, we demonstrate the appealing empirical performance of RBRP from the aforementioned perspectives, as well as the robustness of RBRP to adversarial inputs.

研究动机与目标

• 为解决现有实际ID算法中同时优化骨架复杂度、渐近复杂度、可并行性、误差揭示能力与ID揭示精度的不足。
• 通过引入一种方法，弥合现有算法在五个关键性能维度上的差距，以实现实际ID性能的全面优化。
• 开发一种对对抗性输入具有鲁棒性、可扩展且自适应的ID算法，适用于目标秩未知的真实世界数据。
• 实现在无需事先知晓目标秩的情况下自动检测秩，确保使用最少骨架实现低插值误差。

提出的方法

• RBRP采用分块随机主元选择策略，批量选取骨架列，利用随机性避免贪心选择的缺陷，提升鲁棒性。
• 算法在每个块内使用鲁棒过滤，基于残差范数排除冗余或病态点，提升选择质量。
• 通过监控骨架化误差并动态调整骨架数量，直至满足目标容差，保持误差揭示特性。
• 通过骨架选择过程高效计算插值矩阵，时间复杂度为$o(ndk)$，避免显式计算SVD或伪逆，确保精确ID揭示能力。
• RBRP设计为高度可并行化，计算瓶颈以矩阵-矩阵乘法形式表达，支持高效的GPU与分布式执行。
• 算法集成自适应过采样与随机化，平衡精度与效率，尤其在高维与对抗性场景下表现优异。

实验结果

研究问题

• RQ1 随机化分块主元策略能否在保持低渐近计算成本的同时，实现接近最优的骨架复杂度？
• RQ2 所提出的RBRP方法是否能通过误差揭示特性实现无需事先知晓目标秩的自动秩检测？
• RQ3 与现有方法相比，RBRP能否同时实现可并行化、精确ID揭示能力与对对抗性数据输入的鲁棒性？
• RQ4 在合成与自然数据集上，RBRP与基于草图的主元选择、贪心法及采样方法相比，在骨架复杂度、插值误差与运行时间方面表现如何？

主要发现

• RBRP在所有测试算法中实现了最佳骨架复杂度之一，骨架化误差估计与插值误差高度吻合，证实其具备误差揭示与精确ID揭示特性。
• 尽管骨架选择时间略长于草图主元选择（SkLUPP/SkCPQR），但RBRP整体速度更快，得益于更高效的插值矩阵构建与更低的插值误差。
• RBRP在插值精度上优于草图主元选择，尽管后者在骨架选择阶段更快，凸显了RBRP在速度与精度之间更优的权衡。
• 该算法对对抗性输入（如聚类或结构化数据）表现出鲁棒性，而基于采样的方法（如SqNorm）则会灾难性失败，RBRP则保持稳定性能。
• 在非对抗性数据集上，RBRP的骨架复杂度与最先进方法相当或更优，且插值误差显著低于非误差揭示类方法。
• 当骨架数超过100后，RBRP性能趋于稳定并持续提升，此时残差范数近似服从i.i.d.高斯分布，证实分块随机化相比贪心选择更具有效性。