[论文解读] The Sample Complexity of Subspace Learning with Partial Information.

Alon Gonen, Dan Rosenbaum+2 more|arXiv (Cornell University)|Feb 19, 2014

Sparse and Compressive Sensing Techniques参考文献 19被引用 3

一句话总结

本文研究了在仅能获取每条样本部分信息（每条样本最多 r ≤ d 个属性）时子空间学习的样本复杂度。通过将多臂赌博机问题中的向量采样技术推广至矩阵形式，本文建立了上下界，表明在部分观测下学习 k 维子空间仍可实现高效样本复杂度，其样本量随 k 和 r 而增长，而非随 d 增长。

ABSTRACT

The goal of subspace learning is to find a $k$-dimensional subspace of $\mathbb{R}^d$, such that the expected squared distance between instance vectors and the subspace is as small as possible. In this paper we study the sample complexity of subspace learning in a \emph{partial information} setting, in which the learner can only observe $r \le d$ attributes from each instance vector. We derive upper and lower bounds on the sample complexity in different scenarios. In particular, our upper bounds involve a generalization of vector sampling techniques, which are often used in bandit problems, to matrices.

研究动机与目标

• 理解在每条样本仅观测到 r ≤ d 个属性时，子空间学习的根本样本复杂度。
• 解决在高维空间中从不完整数据中学习低维子空间的挑战。
• 建立理论边界，量化在部分信息条件下准确估计子空间所需的样本数量。
• 将多臂赌博机问题中的向量采样技术推广至矩阵设置，以提升样本效率。

提出的方法

• 提出一种向量采样技术的矩阵推广形式，该技术常用于赌博机学习，以处理子空间学习中的部分观测问题。
• 分析在部分属性观测下，数据向量与学习子空间之间的期望平方重构误差。
• 利用集中不等式和随机矩阵投影的矩阵切尔诺夫型界，推导出样本复杂度的上界。
• 通过信息论论证建立下界，以证明上界的紧致性。
• 根据 r（观测属性数）、k（子空间维数）和 d（环境维数）之间的关系，考虑不同情形。
• 采用受多臂赌博机启发的框架，但将其扩展至矩阵值估计，以建模部分反馈。

实验结果

研究问题

• RQ1 当每条样本仅观测到 r 个属性时，学习 k 维子空间所需的最少样本数是多少？
• RQ2 在部分信息设置下，样本复杂度如何随 r、k 和 d 变化？
• RQ3 能否将多臂赌博机问题中的向量采样技术推广至矩阵估计以用于子空间学习？
• RQ4 所推导的样本复杂度上界是否紧致，其对应的下界是什么？
• RQ5 部分观测的结构如何影响子空间学习的统计效率？

主要发现

• 在部分信息下，子空间学习的样本复杂度取决于 k 和 r，而不依赖于完整的环境维数 d，表明在高维设置下具有高效性。
• 通过一种新颖的矩阵形式向量采样技术推广，推导出样本复杂度的上界，实现了从部分观测中高效学习。
• 下界结果证实，所推导的上界在对数因子范围内是紧致的，确立了该问题的根本极限。
• 结果表明，即使每条样本仅观测到 r ≪ d 个属性，仍可通过随 d 亚线性增长的样本数实现准确的子空间估计。
• 该框架表明，当 r 相对于 k 足够大时，部分反馈并不会显著降低样本复杂度，与全信息设置相比差异不大。
• 分析揭示，学习的有效维数由 r 和 k 决定，而非 d，凸显了属性选择在降低样本复杂度中的关键作用。