[论文解读] When can unlabeled data improve the learning rate?

Christina Göpfert, Shai Ben-David+4 more|arXiv (Cornell University)|May 28, 2019

Machine Learning and Algorithms参考文献 13被引用 7

一句话总结

本文建立了在何种严格条件下未标记数据可证明地提升半监督学习（SSL）的泛化速率，展示了从 $1/\sqrt{\ell}$ 到 $1/\ell$ 的严格速率提升，且当 $u(\ell) \geq \ell^2$ 时不再有进一步增益。文章指出，以往分析常依赖于不切实际的假设（如可访问真实边缘分布或与样本量相关的分布类），并提出一种清晰的极小极大准则，用于评估在有限、固定假设类且 VC 维有界的条件下的真实 SSL 益处。

ABSTRACT

In semi-supervised classification, one is given access both to labeled and unlabeled data. As unlabeled data is typically cheaper to acquire than labeled data, this setup becomes advantageous as soon as one can exploit the unlabeled data in order to produce a better classifier than with labeled data alone. However, the conditions under which such an improvement is possible are not fully understood yet. Our analysis focuses on improvements in the minimax learning rate in terms of the number of labeled examples (with the number of unlabeled examples being allowed to depend on the number of labeled ones). We argue that for such improvements to be realistic and indisputable, certain specific conditions should be satisfied and previous analyses have failed to meet those conditions. We then demonstrate examples where these conditions can be met, in particular showing rate changes from $1/\sqrt{\ell}$ to $e^{-c\ell}$ and from $1/\sqrt{\ell}$ to $1/\ell$. These results improve our understanding of what is and isn't possible in semi-supervised learning.

研究动机与目标

• 阐明在何种真实条件下未标记数据可证明地提升半监督学习（SSL）中的泛化速率。
• 识别并排除以往 SSL 分析中常见的但具有限制性的假设，如可访问真实边缘分布或与样本量相关的分布类。
• 提出一种清晰的极小极大准则，用于评估 SSL 改进，避免理想化或循环假设。
• 构建显式例子，证明未标记数据可实现从 $1/\sqrt{\ell}$ 到 $1/\ell$ 的严格速率提升，且无论未标记数据规模如何，均无法进一步改进。
• 建立未标记数据 $u(\ell)$ 所需增长的下限，表明其必须超线性增长，才能实现任何速率提升。

提出的方法

• 引入极小极大框架，用于在固定、有限的假设类且 VC 维有界的条件下，比较 SSL 与监督学习（SL）的泛化速率。
• 采用两种问题的混合构造：一种具有 $1/\sqrt{\ell}$ 的 SL 速率和快速的 SSL 速率，另一种则 SL 与 SSL 均为 $1/\ell$ 速率。
• 证明混合问题的整体 SL 速率由较慢的分量决定，而 SSL 速率由较快的分量决定，从而实现速率提升。
• 应用 Darnstädt 等人（2013）和 Singh 等人（2009）的已知结果，为各分量问题建立基准速率。
• 推导出速率提升的必要条件：$u(\ell)/\ell \to \infty$，表明未标记数据必须超线性增长。
• 通过将过剩风险正式分解为边缘估计与标签预测两部分，隔离未标记数据的作用。

实验结果

研究问题

• RQ1 在何种条件下，未标记数据可导致半监督学习中实现可证明更快的泛化速率，而非依赖启发式或理想化假设？
• RQ2 为何以往声称 SSL 优势的分析往往无法建立真正的改进，原因在于采用了如可访问真实边缘分布等限制性假设？
• RQ3 在具有有界 VC 维的有限固定假设类中，是否可通过未标记数据实现从 $1/\sqrt{\ell}$ 到 $1/\ell$ 的严格速率提升，且无法通过增加未标记数据进一步改进？
• RQ4 若监督学习速率为 $\ell^{-\alpha}$，则实现任何速率提升所需的未标记数据 $u(\ell)$ 的最小增长速率是多少？
• RQ5 关于边缘估计难度的不同假设，如何影响在非参数或无限 VC 维设置中实现更快 SSL 速率的可能性？

主要发现

• 存在一个问题，其监督学习速率为 $1/\sqrt{\ell}$，而半监督学习速率为 $1/\ell$，证明了可实现的严格速率提升，且无论未标记数据规模如何，均无法进一步加速。
• 该速率提升通过两种问题的混合构造实现：一种具有 $1/\sqrt{\ell}$ 的 SL 速率和快速的 SSL 速率，另一种则 SL 与 SSL 均为 $1/\ell$ 速率。
• 为实现任何速率提升，所需未标记数据量 $u(\ell)$ 必须相对于标记样本数 $\ell$ 超线性增长。
• 本文证明，若监督学习速率为 $\ell^{-\alpha}$，则 $u(\ell)/\ell \to \infty$ 是任何改进的必要条件，排除了线性或次线性增长的可能性。
• 分析表明，依赖理想化访问真实边缘分布或与样本量相关的分布类的以往方法，无法建立真正、现实的改进。
• 结果澄清了 SSL 中的速率提升并非自动发生，而需对数据生成过程和假设类施加特定的结构假设。