[论文解读] Self-Paced Learning: an Implicit Regularization Perspective

Yanbo Fan, Ran He+2 more|arXiv (Cornell University)|Jun 1, 2016

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

本文提出了一种新颖的自步隐式正则化框架（SPL-IR），通过凸共轭理论从鲁棒损失函数推导样本加权策略，实现一种通用且理论基础坚实的自步学习方法。该方法在监督和无监督任务中均展现出对异常值更强的鲁棒性与更好的泛化能力，并与半二次优化（half-quadratic optimization）存在理论关联，同时在矩阵分解、聚类和分类任务中得到实证验证。

ABSTRACT

Self-paced learning (SPL) mimics the cognitive mechanism of humans and animals that gradually learns from easy to hard samples. One key issue in SPL is to obtain better weighting strategy that is determined by minimizer function. Existing methods usually pursue this by artificially designing the explicit form of SPL regularizer. In this paper, we focus on the minimizer function, and study a group of new regularizer, named self-paced implicit regularizer that is deduced from robust loss function. Based on the convex conjugacy theory, the minimizer function for self-paced implicit regularizer can be directly learned from the latent loss function, while the analytic form of the regularizer can be even known. A general framework (named SPL-IR) for SPL is developed accordingly. We demonstrate that the learning procedure of SPL-IR is associated with latent robust loss functions, thus can provide some theoretical inspirations for its working mechanism. We further analyze the relation between SPL-IR and half-quadratic optimization. Finally, we implement SPL-IR to both supervised and unsupervised tasks, and experimental results corroborate our ideas and demonstrate the correctness and effectiveness of implicit regularizers.

研究动机与目标

• 为解决自步学习（SPL）缺乏理论理解的问题，通过隐式正则化分析其内在机制。
• 开发一种与学习目标无关、基于潜在鲁棒损失函数的一般性SPL框架（SPL-IR）。
• 建立SPL-IR与半二次（HQ）优化之间的理论联系，以提升鲁棒性与优化稳定性。
• 在矩阵分解、聚类和分类等多样化任务中，通过实证验证SPL-IR的有效性。

提出的方法

• 提出基于凸共轭理论的自步隐式正则化方法，其中正则化项及其最小化函数通过潜在鲁棒损失函数隐式定义。
• 利用凸共轭关系，直接从潜在损失 $\phi(\lambda, \ell)$ 推导出最小化函数 $\sigma(\lambda, \ell)$ 和正则化项 $\psi(\lambda, v)$，无需显式解析表达式。
• 构建一个通用优化框架（SPL-IR），通过交替搜索策略（ASS）联合优化模型权重与样本权重。
• 通过理论证明表明，HQ优化中使用的鲁棒损失函数可被重新用作SPL中的隐式正则化项，从而建立SPL-IR与HQ优化的理论联系。
• 采用Huber损失和Cauchy损失等鲁棒损失函数作为潜在目标，以生成具备天然抗异常值能力的隐式正则化项。
• 在标准基准数据集上，对监督任务（分类）和无监督任务（聚类、矩阵分解）进行了框架验证。

实验结果

研究问题

• RQ1 如何通过隐式正则化框架对自步学习进行形式化，从而避免对显式设计正则化项的依赖？
• RQ2 潜在鲁棒损失函数与SPL中生成的隐式正则化项及最小化函数之间的理论关系是什么？
• RQ3 SPL-IR的学习过程如何与鲁棒优化及半二次（HQ）方法相关联？
• RQ4 从鲁棒损失中导出的隐式正则化项是否能在监督与无监督学习任务中同时提升泛化能力与鲁棒性？

主要发现

• SPL-IR框架通过从鲁棒损失函数隐式推导正则化项，成功实现了自步学习的泛化，消除了对手动设计正则化项的需求。
• SPL-IR的学习过程与潜在鲁棒损失函数内在关联，为其对异常值和重尾噪声的鲁棒性提供了理论依据。
• 该框架建立了SPL-IR与半二次（HQ）优化之间的正式联系，使得成熟的鲁棒损失函数可被复用于SPL框架中。
• 实证结果表明，SPL-IR在矩阵分解、聚类和分类任务中均优于现有基于显式正则化的SPL方法，展现出更优的收敛性与泛化能力。
• 隐式正则化框架在监督与无监督学习中均表现有效，证实了其广泛适用性与鲁棒性。