[论文解读] Transfer Learning for Nonparametric Classification: Minimax Rate and Adaptive Classifier

Tommaso Cai, Hongji Wei|arXiv (Cornell University)|Jun 7, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用 15

一句话总结

本文在后验漂移模型下建立了非参数分类中迁移学习的极小极大收敛速率，该模型假设源分布与目标分布具有相同的协变量分布，但类别条件概率不同。本文提出了一种两样本加权K-近邻分类器，可达到最优收敛速率，并进一步提出了一个自适应版本，在广泛的光滑性与边界参数范围内，其速率仅与对数因子相差。

ABSTRACT

Human learners have the natural ability to use knowledge gained in one setting for learning in a different but related setting. This ability to transfer knowledge from one task to another is essential for effective learning. In this paper, we study transfer learning in the context of nonparametric classification based on observations from different distributions under the posterior drift model, which is a general framework and arises in many practical problems. We first establish the minimax rate of convergence and construct a rate-optimal two-sample weighted $K$-NN classifier. The results characterize precisely the contribution of the observations from the source distribution to the classification task under the target distribution. A data-driven adaptive classifier is then proposed and is shown to simultaneously attain within a logarithmic factor of the optimal rate over a large collection of parameter spaces. Simulation studies and real data applications are carried out where the numerical results further illustrate the theoretical analysis. Extensions to the case of multiple source distributions are also considered.

研究动机与目标

• 在后验漂移模型下，建立非参数二分类迁移学习的极小极大收敛速率。
• 设计一种速率最优的两样本加权K-近邻分类器，利用来自源分布的标记数据，以改善在相关但不同的目标分布下的分类性能。
• 提出一种自适应分类器，在广泛的光滑性与边界参数范围内，其速率仅与对数因子相差。
• 为非参数设置下存在分布偏移时迁移学习的优势提供理论依据。
• 将框架扩展至多个源分布，并通过模拟实验与真实数据验证。

提出的方法

• 采用后验漂移模型，假设协变量的边缘分布相同，但源与目标之间的类别条件分布不同。
• 通过基于局部密度与光滑性参数的数据依赖权重，构建两样本加权K-近邻分类器。
• 利用集中不等式建立局部误分类率上界，依赖于边界假设及条件概率在决策边界附近的衰减速率。
• 基于边界函数 ζ_Q(x) 对输入空间进行划分，以控制不同区域的期望过失风险。
• 通过指数尾部不等式推导过失风险的高概率上界，并对由边界水平定义的 dyadic 区域进行求和。
• 提出一种自适应分类器，通过数据驱动的方法选择调优参数，实现在大类参数空间中的近似最优性。

实验结果

研究问题

• RQ1 在后验漂移模型下，当从源分布向目标分布迁移知识时，非参数分类的极小极大收敛速率是什么？
• RQ2 如何设计一种加权K-近邻分类器，以在该模型下最优地利用源与目标数据？
• RQ3 能否构建一种自适应分类器，使其在广泛光滑性与边界参数范围内，达到最优速率的对数因子内？
• RQ4 源数据的贡献如何随底层回归函数的样本量与光滑性而变化？
• RQ5 当存在多个源分布时，迁移学习的理论保证是什么？

主要发现

• 在后验漂移模型下，迁移学习的极小极大收敛速率为 (n_P^{(2β+d)/(2γβ+d)} + n_Q)^{-β(1+α)/(2β+d)}，其中 β 为光滑性参数，α 为边界参数，d 为维度。
• 构建了一种两样本加权K-近邻分类器，可达到该极小极大速率，表明当源与目标分布相似时，源数据可显著提升目标分类性能。
• 自适应分类器在大类参数空间中实现了最优速率的对数因子内，且无需事先知道光滑性或边界参数。
• 理论分析表明，当源样本量较大且源与目标分布的光滑性与边界行为相近时，迁移学习的优势最为显著。
• 模拟研究与真实数据应用表明，所提出的分类器在源与目标相关但不完全相同时，优于标准K-近邻及其他迁移学习基线方法。
• 将框架扩展至多个源分布被证明是可行的，并在源与目标分布相似性满足弱条件时，保持理论最优性。