[论文解读] Overcoming the curse of dimensionality with Laplacian regularization in semi-supervised learning

Vivien Cabannes, Loucas Pillaud‐Vivien+2 more|arXiv (Cornell University)|Sep 9, 2020

Machine Learning and Data Classification参考文献 52被引用 4

一句话总结

本文提出一种在半监督学习中结合拉普拉斯正则化的谱滤波方法，通过利用再生核希尔伯特空间（RKHS）理论与低秩逼近，克服了维度灾难问题。该方法在低密度分离假设下实现了快速收敛速率，并通过将 $n^{ u} \log n \times n^{ u}\log n$ 的矩阵逼近，将计算成本从 $\mathcal{O}(n^3d^3)$ 降低至 $\mathcal{O}(n^{1+2\gamma}d\log^2 n)$，其中 $\gamma \in (0,1]$ 取决于函数的正则性。

ABSTRACT

As annotations of data can be scarce in large-scale practical problems, leveraging unlabelled examples is one of the most important aspects of machine learning. This is the aim of semi-supervised learning. To benefit from the access to unlabelled data, it is natural to diffuse smoothly knowledge of labelled data to unlabelled one. This induces to the use of Laplacian regularization. Yet, current implementations of Laplacian regularization suffer from several drawbacks, notably the well-known curse of dimensionality. In this paper, we provide a statistical analysis to overcome those issues, and unveil a large body of spectral filtering methods that exhibit desirable behaviors. They are implemented through (reproducing) kernel methods, for which we provide realistic computational guidelines in order to make our method usable with large amounts of data.

研究动机与目标

• 解决半监督学习中拉普拉斯正则化面临的维度灾难问题。
• 构建一个统计上严谨的框架，确保估计器的一致性，避免因维度增加导致的性能退化。
• 利用核方法与低秩逼近，为大规模数据提供可扩展的计算指导。
• 在低密度分离假设下建立快速收敛速率。
• 通过计算效率的提升，实现高维设置下拉普拉斯正则化的实际部署。

提出的方法

• 提出一种基于函数空间分析与再生核希尔伯特空间（RKHS）的谱滤波框架。
• 利用核方法实现一致估计器，避免维度灾难。
• 通过随机抽样或杠杆度采样对核矩阵实施低秩逼近，将矩阵规模从 $n(d+1) \times n(d+1)$ 降低至 $n^\gamma \log n \times n^\gamma \log n$。
• 采用包含参数 $\lambda$ 和扩散算子 $\mathcal{L}$ 的正则化方案，以控制平滑性与稳定性。
• 利用随机矩阵理论与次高斯尾部估计，推导经验投影算子 $P$ 的集中不等式。
• 通过参数调优优化逼近误差，特别是将 $ab = \log p$ 设为最优值以获得算子范数的最优界。

实验结果

研究问题

• RQ1 拉普拉斯正则化能否在半监督学习中对高维输入空间保持鲁棒性？
• RQ2 在何种理论条件下，拉普拉斯基估计器可避免维度灾难？
• RQ3 如何将核方法与低秩逼近结合，以在降低计算成本的同时保持统计一致性？
• RQ4 在低密度分离假设下，拉普拉斯正则化估计器的最优收敛速率为何？
• RQ5 杠杆度采样能否提升低秩方案中的逼近质量，并减少所需样本量？

主要发现

• 所提出的估计器在低密度分离假设下实现了快速收敛速率，避免了维度灾难。
• 统计误差界为 $\mathcal{O}\left(\frac{\log p}{p}\right)$ 与 $\mathcal{O}\left(\frac{\log^a p}{p^a}\right)$（逼近误差），在 $ab = \log p$ 时达到最优。
• 计算成本从 $\mathcal{O}(n^3d^3)$ 降低至 $\mathcal{O}(n^{1+2\gamma}d\log^2 n)$，其中 $\gamma \in (0,1]$ 取决于底层函数的正则性。
• 通过利用函数的平滑性与RKHS的结构，该方法在高维设置下仍能保持一致性和快速收敛。
• 杠杆度采样提升了逼近质量，使得在给定容量下可令 $p = (\mu\lambda)^\gamma \log n$，从而增强稳定性。
• 推导出期望 $L^2$ 误差的理论界，表明其依赖于 $n$、$\lambda$、$\kappa^2$，以及通过 $\|g_\rho\|_{L^2}$ 与 $\|\mathcal{L}g_\rho\|_{L^2}$ 表征的函数正则性。