[论文解读] Provably Correct Algorithms for Matrix Column Subset Selection with Selectively Sampled Data

Yining Wang, Aarti Singh|arXiv (Cornell University)|May 17, 2015

Sparse and Compressive Sensing Techniques参考文献 36被引用 6

一句话总结

本文提出了首个在部分观测数据下矩阵列子集选择的可证明正确算法，采用反馈驱动采样策略选取列并提供理论保证。在行非相干假设下建立了相对误差界，实验证明其在高度相关矩阵上的性能优于均匀采样。

ABSTRACT

We consider the problem of matrix column subset selection, which selects a subset of columns from an input matrix such that the input can be well approximated by the span of the selected columns. Column subset selection has been applied to numerous real-world data applications such as population genetics summarization, electronic circuits testing and recommendation systems. In many applications the complete data matrix is unavailable and one needs to select representative columns by inspecting only a small portion of the input matrix. In this paper we propose the first provably correct column subset selection algorithms for partially observed data matrices. Our proposed algorithms exhibit different merits and limitations in terms of statistical accuracy, computational efficiency, sample complexity and sampling schemes, which provides a nice exploration of the tradeoff between these desired properties for column subset selection. The proposed methods employ the idea of feedback driven sampling and are inspired by several sampling schemes previously introduced for low-rank matrix approximation tasks (Drineas et al., 2008; Frieze et al., 2004; Deshpande and Vempala, 2006; Krishnamurthy and Singh, 2014). Our analysis shows that, under the assumption that the input data matrix has incoherent rows but possibly coherent columns, all algorithms provably converge to the best low-rank approximation of the original data as number of selected columns increases. Furthermore, two of the proposed algorithms enjoy a relative error bound, which is preferred for column subset selection and matrix approximation purposes. We also demonstrate through both theoretical and empirical analysis the power of feedback driven sampling compared to uniform random sampling on input matrices with highly correlated columns.

研究动机与目标

• 解决在仅能部分访问数据矩阵的场景下列子集选择的挑战，此类情况在基因组学和推荐系统等现实应用中普遍存在。
• 开发仅使用观测矩阵条目子集的低秩逼近理论保证算法。
• 通过引入不完整数据矩阵的可证明正确采样策略，克服现有启发式方法的局限性。
• 探索在部分观测下的列选择中，统计精度、计算效率、样本复杂度与采样策略之间的权衡。
• 证明反馈驱动采样在高度相关列的矩阵中优于均匀随机采样。

提出的方法

• 提出受先前低秩逼近采样方案（如Drineas等，2008；Frieze等，2004）启发的反馈驱动采样策略，将其适配于不完整数据。
• 利用杠杆分数和矩阵非相干性假设——特别是行非相干但列可能相干——指导列选择，确保理论收敛性。
• 设计多种具有不同权衡的算法：部分强调计算效率，部分优先考虑统计精度或样本复杂度。
• 将列子集选择问题表述为最小化残差的Frobenius范数 $ \|\mathbf{M} - \mathbf{C}\mathbf{C}^\dagger\mathbf{M}\|_F $，其中 $ \mathbf{C} $ 为所选列子矩阵。
• 建立理论保证：随着所选列数增加，算法收敛至原始矩阵的最佳低秩逼近。
• 应用Yao原理并构造困难输入实例，推导样本复杂度的下界，证明所提采样策略的最优性。

实验结果

研究问题

• RQ1 当仅能访问矩阵的小部分、部分观测子集时，能否设计出可证明正确的列子集选择算法？
• RQ2 在高度相关列的矩阵中，反馈驱动采样与均匀随机采样在逼近精度方面有何比较？
• RQ3 在部分观测下的列子集选择中，统计精度、计算效率与样本复杂度之间的权衡是什么？
• RQ4 在何种条件下，所提算法实现相对误差界而非加法误差界？
• RQ5 当输入矩阵行非相干但列可能相干时，能否为列子集选择建立理论保证？

主要发现

• 在行非相干假设下，所提算法随着所选列数增加，可证明收敛至原始矩阵的最佳低秩逼近。
• 所提算法中的两个实现达到相对误差界 $ \|\mathbf{M} - \mathbf{C}\mathbf{C}^\dagger\mathbf{M}\|_F \leq c\|\mathbf{M} - \mathbf{M}_k\|_F $，其中 $ c = 1 + \epsilon $，该界在矩阵逼近与列子集选择中更优。
• 反馈驱动采样在高度相关列的矩阵上显著优于均匀随机采样，该结论在理论上和实证中均得到验证。
• 算法的样本复杂度有界，通过Yao原理推导的下界表明，所提采样策略在最小化所需观测数方面近乎最优。
• 理论分析确认，即使仅观测到矩阵条目的极小部分，只要满足行非相干条件，算法仍能保持强逼近保证。
• 该框架允许对精度、效率与样本量之间的权衡进行系统性探索，为不完整数据的现实应用提供灵活的工具集。