[论文解读] Provable Advantage of Curriculum Learning on Parity Targets with Mixed Inputs

Emmanuel Abbé, Elisabetta Cornacchia+1 more|arXiv (Cornell University)|Jun 29, 2023

Neural Networks and Applications被引用 4

一句话总结

本文证明了在使用带有稀疏和密集输入的 ReLU 网络学习高阶奇偶性时，课程学习（CL）相比标准训练具有理论上的优势。研究表明，在相同条件下，使用课程学习（从稀疏输入开始）训练的两层 ReLU 网络可在 θ(d) 步内学习任意有界阶数的奇偶性，而标准训练则需要 Ω(d²) 步，从而建立了样本效率上的可证明分离。

ABSTRACT

Experimental results have shown that curriculum learning, i.e., presenting simpler examples before more complex ones, can improve the efficiency of learning. Some recent theoretical results also showed that changing the sampling distribution can help neural networks learn parities, with formal results only for large learning rates and one-step arguments. Here we show a separation result in the number of training steps with standard (bounded) learning rates on a common sample distribution: if the data distribution is a mixture of sparse and dense inputs, there exists a regime in which a 2-layer ReLU neural network trained by a curriculum noisy-GD (or SGD) algorithm that uses sparse examples first, can learn parities of sufficiently large degree, while any fully connected neural network of possibly larger width or depth trained by noisy-GD on the unordered samples cannot learn without additional steps. We also provide experimental results supporting the qualitative separation beyond the specific regime of the theoretical results.

研究动机与目标

• 在混合输入分布上建立课程学习与标准训练在学习奇偶性方面的可证明分离。
• 分析稀疏输入在通过基于梯度的方法高效学习高阶奇偶性中的作用。
• 证明采用稀疏输入优先采样策略的课程训练可减少收敛所需的步数，相比随机顺序训练。
• 将理论结果从理想化假设扩展至实际场景，通过多种架构（MLP、平均场模型、Transformer）的实证验证该分离现象。
• 探究课程学习的优势是否可推广至奇偶性以外的其他大跳跃函数。

提出的方法

• 作者分析了一个两层 ReLU 全连接网络，通过带噪声的梯度下降（GD）或随机梯度下降（SGD）在包含 ρ 比例稀疏输入的混合输入分布上进行训练。
• 将课程学习定义为初始阶段仅使用稀疏输入，随后在完整混合数据集上继续训练。
• 理论分析采用有界学习率，并聚焦于学习 k-奇偶性函数所需的训练步数。
• 关键理论结果表明，当 ρ < d⁻⁴ 时，课程训练可在 θ(d) 步内实现收敛，而标准训练则需要 Ω(d²) 步。
• 实验在多个模型（MLP、平均场模型、Transformer）上验证了理论分离，使用 ℓ₂、合页损失和协方差损失。
• 实验通过改变 ρ、奇偶性阶数 k 和数据集大小，测量样本复杂度和优化步数的提升。

实验结果

研究问题

• RQ1 在共同的混合输入分布上，课程学习是否可证明地减少学习高阶奇偶性所需的训练步数，相比标准训练？
• RQ2 稀疏输入在 ReLU 网络中对奇偶性学习的更快收敛起到了什么作用？
• RQ3 课程学习的理论优势是否在脱离理想化假设（如分层训练和特定学习率）后依然成立？
• RQ4 该课程学习优势是否可在不同神经网络架构和损失函数下被观察到？
• RQ5 课程学习效果是否对稀疏输入比例（ρ）和奇偶性阶数（k）的变化具有鲁棒性？

主要发现

• 当 ρ < d⁻⁴ 时，使用课程学习训练的两层 ReLU 网络可在 θ(d) 次训练步内学习任意 k-奇偶性。
• 同一网络若采用标准随机顺序采样训练，则需要 Ω(d²) 步，从而建立了样本效率上 Ω(d) 的可证明分离。
• MLP 上的实验表明，课程训练显著减少了收敛所需的步数，尤其在高阶奇偶性和较小 ρ 时效果更明显。
• 平均场模型在使用课程学习时也表现出显著减少的步数和样本复杂度，且在 ℓ₂、合页损失和协方差损失下均可见优势。
• Transformer 模型在课程学习下表现出较弱但依然显著的优势，尤其在 ρ 较小（如 0.001）时，表明其具有更广泛的应用潜力。
• 结果表明，当稀疏输入稀少但具有信息量时，课程学习尤为有效，能够实现对奇偶性支持集的早期识别。