[论文解读] Transfer Learning for Nonparametric Regression: Non-asymptotic Minimax Analysis and Adaptive Procedure

Tommaso Cai, Hongming Pu|arXiv (Cornell University)|Jan 22, 2024

Statistical Methods and Inference被引用 4

一句话总结

本文针对后验漂移模型下的非参数回归，提出了一种极小极大最优的迁移学习方法，引入了一种置信度阈值估计器，实现了接近最优的收敛速率。该研究建立了自动平滑与超加速效应的理论保证，并提出了一种自适应算法，在不同平滑度与偏差强度的参数范围内均表现出色。

ABSTRACT

Transfer learning for nonparametric regression is considered. We first study the non-asymptotic minimax risk for this problem and develop a novel estimator called the confidence thresholding estimator, which is shown to achieve the minimax optimal risk up to a logarithmic factor. Our results demonstrate two unique phenomena in transfer learning: auto-smoothing and super-acceleration, which differentiate it from nonparametric regression in a traditional setting. We then propose a data-driven algorithm that adaptively achieves the minimax risk up to a logarithmic factor across a wide range of parameter spaces. Simulation studies are conducted to evaluate the numerical performance of the adaptive transfer learning algorithm, and a real-world example is provided to demonstrate the benefits of the proposed method.

研究动机与目标

• 在后验漂移模型下，建立非参数回归迁移学习的非渐近极小极大风险。
• 提出一种新型估计器——置信度阈值估计器，其风险在对数因子范围内达到极小极大最优。
• 研究迁移学习相较于标准非参数回归所表现出的独特现象：自动平滑与超加速。
• 提出一种基于数据的自适应程序，可在广泛平滑度与偏差强度参数范围内实现极小极大风险。
• 通过模拟实验与真实世界应用（空气质量预测）验证该方法的有效性。

提出的方法

• 提出一种置信度阈值估计器，通过基于对源函数估计的置信度进行阈值处理，结合目标域与源域数据。
• 在后验漂移模型下分析极小极大风险，其中目标函数与源函数的差异在 $L_1$ 范数下受阶为 $\epsilon$ 的多项式偏差所限制。
• 推导出风险的非渐近极小极大下界与上界，表明该估计器在对数因子范围内达到最优收敛速率。
• 提出一种自适应算法，基于数据驱动的准则选择调优参数，实现在不同平滑度与偏差强度下的近似最优性能。
• 采用局部多项式回归与带宽选择技术来估计源函数，并校准阈值规则。
• 采用两阶段估计策略：首先估计源函数，然后利用其结果通过阈值处理改进目标函数的估计。

实验结果

研究问题

• RQ1 在后验漂移模型下，非参数回归迁移学习的非渐近极小极大风险是多少？
• RQ2 相较于标准非参数回归，迁移学习如何引发自动平滑与超加速现象？
• RQ3 基于数据的自适应程序是否能在广泛平滑度与偏差强度参数范围内实现极小极大最优性？
• RQ4 迁移学习估计器的最优收敛速率是多少？其如何依赖于样本量、平滑度与偏差强度？
• RQ5 在模拟与真实世界场景中，置信度阈值估计器与基线方法相比表现如何？

主要发现

• 后验漂移模型下迁移学习的极小极大风险下界为 $ C_L \cdot \left( n_{\max}^{-\frac{2\beta_{\max}}{2\beta_{\max}+d}} + (\epsilon \wedge n_Q^{-\frac{\beta_Q}{2\beta_Q + d}}) \cdot n_Q^{-\frac{\beta_Q}{2\beta_Q + d}} + \frac{1}{n_Q} \right) $，该表达式捕捉了源数据与目标数据之间的权衡。
• 置信度阈值估计器在对数因子范围内实现了极小极大最优收敛速率，体现了其理论高效性。
• 本文识别出两种独特现象：自动平滑，即估计器能自然适应目标函数的平滑度；超加速，即收敛速率超过标准非参数回归的速率。
• 自适应程序在广泛平滑度参数 $\beta_Q$、$\beta_P$ 与偏差强度 $\epsilon$ 范围内，实现了极小极大风险的对数因子近似最优。
• 模拟研究显示，自适应算法在多种配置下，其均方误差均优于基线方法。
• 在空气质量预测的真实世界应用中，该方法展示了迁移学习的实际优势，尤其当源函数与目标函数相似但不完全相同时。