[论文解读] Tunable Sensitivity to Large Errors in Neural Network Training

Gil Keren, Sivan Sabato+1 more|arXiv (Cornell University)|Nov 23, 2016

Machine Learning and Data Classification被引用 4

一句话总结

本文提出了一种可调节敏感度机制，用于神经网络训练，通过参数 $k$ 将交叉熵梯度泛化，以控制对困难样本的响应程度。实验表明，最优 $k$ 随网络深度增加而增大，且通过 $k$ 的交叉验证可获得比标准交叉熵更低的测试误差，尤其在更深的网络中表现更优。

ABSTRACT

When humans learn a new concept, they might ignore examples that they cannot make sense of at first, and only later focus on such examples, when they are more useful for learning. We propose incorporating this idea of tunable sensitivity for hard examples in neural network learning, using a new generalization of the cross-entropy gradient step, which can be used in place of the gradient in any gradient-based training method. The generalized gradient is parameterized by a value that controls the sensitivity of the training process to harder training examples. We tested our method on several benchmark datasets. We propose, and corroborate in our experiments, that the optimal level of sensitivity to hard example is positively correlated with the depth of the network. Moreover, the test prediction error obtained by our method is generally lower than that of the vanilla cross-entropy gradient learner. We therefore conclude that tunable sensitivity can be helpful for neural network learning.

研究动机与目标

• 为解决标准交叉熵训练中过度强调自信错误预测的局限性，通过引入对困难样本的可调节敏感度。
• 模拟人类学习行为，即学习者最初忽略困难样本，随着熟练度提高再逐步关注它们。
• 通过根据网络深度调整对预测偏差较大的样本的敏感度，以改善泛化性能。
• 为任何基于梯度的训练方法提供标准梯度更新的即插即用替代方案。
• 通过实证验证，最优困难样本敏感度与网络深度相关，并能降低测试误差。

提出的方法

• 使用参数 $k > 0$ 广义化交叉熵梯度，其中 $k=1$ 时恢复标准梯度。
• 当 $k < 1$ 时，广义梯度降低对困难样本的敏感度；当 $k > 1$ 时，增加敏感度，从而实现对学习重点的控制。
• 公式 (4) 中的函数 $f$ 定义了伪梯度，其根据预测偏差和 $k$ 调制梯度。
• 该方法兼容任何基于梯度的优化器（如带动量的SGD、Adam），可应用于前馈网络、卷积网络或循环网络。
• 实验通过交叉验证为每个网络深度和学习率选择最优 $k$，以确保公平比较。
• 训练过程中应用梯度裁剪以稳定优化，尤其在更深的网络中更为有效。

实验结果

研究问题

• RQ1 调节对困难样本的敏感度是否能提升神经网络训练的泛化性能？
• RQ2 网络深度与对困难样本的最优敏感度水平之间是否存在相关性？
• RQ3 所提方法是否能在测试误差方面优于标准交叉熵训练？
• RQ4 该方法是否同时改善预测误差和交叉熵损失，还是仅改善前者？
• RQ5 广义梯度是否能在不同网络架构和优化算法中有效应用？

主要发现

• 最优困难样本敏感度（由 $k$ 控制）与网络深度正相关：浅层网络偏好 $k < 1$，深层网络偏好 $k > 1$，中等深度网络使用 $k \approx 1$。
• 对于浅层网络（1层），选择 $k$ 的模型测试误差高于 $k=1$，证实该方法优化的是预测误差而非交叉熵损失。
• 对于更深的网络（3层和5层），所选 $k$ 同时降低了测试误差和交叉熵损失，表明关注困难样本可减少整体损失。
• 在 CIFAR-100 上使用5层网络时，$k=4$ 达到 74.62% 的测试准确率，优于 $k=1$ 的 74.32%。
• 在 MNIST 上使用1层网络时，$k=0.5$ 将测试误差降低至 44.11%，而 $k=1$ 时为 45.69%，表明泛化性能得到提升。
• 该方法在多个数据集（MNIST、SVHN、CIFAR-10、CIFAR-100）上均持续提升性能，证明其广泛适用性。