[论文解读] What Objective Does Self-paced Learning Indeed Optimize?

Deyu Meng, Qian Zhao+1 more|arXiv (Cornell University)|Nov 19, 2015

Domain Adaptation and Few-Shot Learning参考文献 36被引用 64

一句话总结

本文揭示了自 paced 学习（SPL）优化了一个潜在的非凸正则化目标函数，正式将 SPL 与主要化最小化（MM）及非凸正则化惩罚（NCRP）（如 SCAD、LOG 和 EXP）联系起来。理论框架解释了 SPL 对噪声的鲁棒性以及在避免局部极小值方面的优越性，其在使用新型分组部分序损失先验的 FCVID 视频数据集上实现了最先进性能。

ABSTRACT

Self-paced learning (SPL) is a recently raised methodology designed through simulating the learning principle of humans/animals. A variety of SPL realization schemes have been designed for different computer vision and pattern recognition tasks, and empirically substantiated to be effective in these applications. However, the investigation on its theoretical insight is still a blank. To this issue, this study attempts to provide some new theoretical understanding under the SPL scheme. Specifically, we prove that the solving strategy on SPL accords with a majorization minimization algorithm implemented on a latent objective function. Furthermore, we find that the loss function contained in this latent objective has a similar configuration with non-convex regularized penalty (NSPR) known in statistics and machine learning. Such connection inspires us discovering more intrinsic relationship between SPL regimes and NSPR forms, like SCAD, LOG and EXP. The robustness insight under SPL can then be finely explained. We also analyze the capability of SPL on its easy loss prior embedding property, and provide an insightful interpretation to the effectiveness mechanism under previous SPL variations. Besides, we design a group-partial-order loss prior, which is especially useful to weakly labeled large-scale data processing tasks. Through applying SPL with this loss prior to the FCVID dataset, which is currently one of the biggest manually annotated video dataset, our method achieves state-of-the-art performance beyond previous methods, which further helps supports the proposed theoretical arguments.

研究动机与目标

• 揭示自 paced 学习（SPL）的理论机制，尽管其在实践中表现优异，但缺乏严格的理论分析。
• 建立 SPL 与主要化最小化（MM）算法之间的正式联系，阐明 SPL 迭代优化的收敛性与稳定性。
• 揭示 SPL 各阶段与非凸正则化惩罚（NCRP）（如 SCAD、LOG 和 EXP）之间的内在联系，以解释 SPL 对噪声和异常值的鲁棒性。
• 分析 SPL 内在的“先易后难”学习先验能力，该能力有助于避免非凸优化中的不良局部极小值。
• 提出并验证一种新的分组部分序损失先验，以增强 SPL 在弱标签、大规模多媒体数据集上的性能。

提出的方法

• 证明 SPL 中使用的标准交替优化策略（AOS）在数学上等价于应用于潜在目标函数的主要化最小化（MM）算法。
• 识别出潜在 SPL 目标函数中的损失函数恰好对应于众所周知的非凸正则化惩罚（NCRP），包括截断范数惩罚（CNP）和最小最大凹惩罚（MCP）。
• 建立特定 SPL 变体（如硬 SPL 和线性 SPL）与在 SCAD、LOG 和 EXP 惩罚下优化之间的理论等价性。
• 提出一种新颖的分组部分序损失先验，以编码结构化的难度排序，特别适用于弱标签、大规模数据。
• 在 FCVID 数据集（一个大规模人工标注的视频数据集）上实现所提出的带有分组部分序先验的 SPL 框架。
• 通过实证评估验证理论主张，证明在多媒体事件检测任务中实现了最先进性能。

实验结果

研究问题

• RQ1 自 paced 学习（SPL）所优化的真实目标函数是什么？它与既有的优化框架有何关系？
• RQ2 SPL 中使用的交替优化策略（AOS）与主要化最小化（MM）算法有何关联？
• RQ3 SPL 与非凸正则化惩罚（NCRP）（如 SCAD、LOG 和 EXP）之间存在何种理论联系？
• RQ4 为何 SPL 对噪声和异常值丰富的数据具有鲁棒性？这能否通过其底层优化目标加以解释？
• RQ5 能否通过一种新的损失先验——分组部分序——来提升 SPL 在弱标签、大规模多媒体数据集上的性能？

主要发现

• SPL 中使用的交替优化策略（AOS）在形式上等价于应用于潜在目标函数的主要化最小化（MM）算法，为收敛性和稳定性提供了坚实的理论基础。
• 潜在 SPL 目标函数中的损失函数恰好对应于非凸正则化惩罚（NCRP），如硬 SPL 的截断范数惩罚（CNP）和线性 SPL 的最小最大凹惩罚（MCP）。
• 理论框架将 SPL 对异常值和强噪声的鲁棒性解释为基于 NCRP 目标函数优化的自然结果，而这类目标函数本身以鲁棒性著称。
• SPL 内在的“先易后难”学习先验有助于避免非凸优化中的不良局部极小值，为固定损失函数提供了一种有原则的替代方案。
• 所提出的分组部分序损失先验在弱标签、大规模数据上显著提升了 SPL 的性能，在 FCVID 数据集上实现了 0.889 mAP 的最先进结果。
• 在 FCVID 上的实证结果验证了理论论断，表明结合新损失先验的 SPL 在多媒体事件检测任务中优于以往方法。