[论文解读] Robust Meta-learning for Mixed Linear Regression with Small Batches

Weihao Kong, Raghav Somani+2 more|arXiv (Cornell University)|Jun 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 74被引用 6

一句话总结

该论文提出了一种针对小批量混合线性回归的鲁棒元学习框架，采用新颖的异常值鲁棒主成分分析（PCA）与矩平方和（sum-of-squares）方法，以利用高阶矩。该方法实现了平滑的统计权衡，将所需的大规模任务规模从 Ω(k^{1/2}) 降低至 O(log k)，同时对异常值和小任务规模均保持鲁棒性。

ABSTRACT

A common challenge faced in practical supervised learning, such as medical image processing and robotic interactions, is that there are plenty of tasks but each task cannot afford to collect enough labeled examples to be learned in isolation. However, by exploiting the similarities across those tasks, one can hope to overcome such data scarcity. Under a canonical scenario where each task is drawn from a mixture of k linear regressions, we study a fundamental question: can abundant small-data tasks compensate for the lack of big-data tasks? Existing second moment based approaches show that such a trade-off is efficiently achievable, with the help of medium-sized tasks with $Ω(k^{1/2})$ examples each. However, this algorithm is brittle in two important scenarios. The predictions can be arbitrarily bad (i) even with only a few outliers in the dataset; or (ii) even if the medium-sized tasks are slightly smaller with $o(k^{1/2})$ examples each. We introduce a spectral approach that is simultaneously robust under both scenarios. To this end, we first design a novel outlier-robust principal component analysis algorithm that achieves an optimal accuracy. This is followed by a sum-of-squares algorithm to exploit the information from higher order moments. Together, this approach is robust against outliers and achieves a graceful statistical trade-off; the lack of $Ω(k^{1/2})$-size tasks can be compensated for with smaller tasks, which can now be as small as $O(\log k)$.

研究动机与目标

• 解决在存在大量小样本任务但无大规模数据任务的场景中元学习所面临的挑战，传统方法在此类场景下失效。
• 克服基于二阶矩的方法在异常值或次优任务规模下失效的脆弱性。
• 实现在每项任务仅有 O(log k) 个样本时的有效元学习，与先前工作相比显著降低所需批量大小。
• 开发一种计算上可行的方法，通过矩平方和技术利用高阶矩，以提升统计效率与鲁棒性。

提出的方法

• 提出一种新颖的异常值鲁棒主成分分析（PCA）算法，在对抗性污染下实现最优精度。
• 利用矩平方和（SoS）方法，挖掘高阶矩统计量，实现从更小规模任务中的学习。
• 设计一种两阶段算法：首先利用少量任务估计低维子空间，然后在投影空间中对大规模任务进行聚类。
• 通过整数 m 参数化方法，对应第 m 阶矩，实现任务规模与任务数量之间的权衡。
• 利用谱分解与鲁棒均值估计，处理元参数中的噪声与异常值。
• 利用集中不等式与矩阵扰动界，推导出估计元参数的高概率误差界。

实验结果

研究问题

• RQ1 在混合线性回归的元学习中，大量小样本任务能否弥补缺乏大规模任务的不足？
• RQ2 元学习算法是否能在同时面对异常值与次优任务规模（即 o(k^{1/2}) 个样本）时保持鲁棒性？
• RQ3 是否能够以计算高效且统计可靠的方式利用高阶矩统计量？
• RQ4 当不存在中等规模任务时，成功元学习所需的最小任务规模是多少？
• RQ5 与使用二阶统计量相比，使用高阶矩时任务规模与任务数量之间的权衡关系如何变化？

主要发现

• 所提方法将所需的大规模任务规模从 Ω(k^{1/2}) 降低至 O(log k)，使得即使所有任务均为小规模时也能实现元学习。
• 该算法实现了平滑的统计权衡：缺乏大规模任务可通过增加小规模任务数量来补偿。
• 当每项任务有 t = O(log k) 个样本，且任务数量 n = Ω(k^{Θ(log k)}) 时，该方法以高概率将元参数估计误差控制在 O(1) 以内。
• 基于矩平方和的方法能够利用高阶矩实现鲁棒估计，在数据污染下表现优于基于二阶矩的方法。
• 该方法对对抗性污染具有鲁棒性：即使存在常数比例的污染任务，其误差界仍与 ρ^4 / t 成比例。
• 实验结果表明，算法2在污染条件下捕获的方差显著更高（≈1.0886），相比HRPCA，保留的污染点更少，且更少的干净点被误删。