[论文解读] Optimal Training of Mean Variance Estimation Neural Networks

Laurens Sluijterman, Eric Cator+1 more|arXiv (Cornell University)|Feb 17, 2023

Fault Detection and Control Systems被引用 4

一句话总结

本文针对训练均值方差估计（MVE）神经网络提出了两项关键改进：一是初始仅训练均值的预热阶段，期间方差固定；二是对均值和方差预测分别应用正则化。作者通过在UCI数据集上的实验表明，这些方法显著提升了模型的稳定性和性能，其中分别正则化通常比共享正则化带来更大的性能提升。

ABSTRACT

This paper focusses on the optimal implementation of a Mean Variance Estimation network (MVE network) (Nix and Weigend, 1994). This type of network is often used as a building block for uncertainty estimation methods in a regression setting, for instance Concrete dropout (Gal et al., 2017) and Deep Ensembles (Lakshminarayanan et al., 2017). Specifically, an MVE network assumes that the data is produced from a normal distribution with a mean function and variance function. The MVE network outputs a mean and variance estimate and optimizes the network parameters by minimizing the negative loglikelihood. In our paper, we present two significant insights. Firstly, the convergence difficulties reported in recent work can be relatively easily prevented by following the simple yet often overlooked recommendation from the original authors that a warm-up period should be used. During this period, only the mean is optimized with a fixed variance. We demonstrate the effectiveness of this step through experimentation, highlighting that it should be standard practice. As a sidenote, we examine whether, after the warm-up, it is beneficial to fix the mean while optimizing the variance or to optimize both simultaneously. Here, we do not observe a substantial difference. Secondly, we introduce a novel improvement of the MVE network: separate regularization of the mean and the variance estimate. We demonstrate, both on toy examples and on a number of benchmark UCI regression data sets, that following the original recommendations and the novel separate regularization can lead to significant improvements.

研究动机与目标

• 解决MVE网络中常见的回归不确定性估计训练收敛不稳定性问题。
• 验证Nix和Weigend（1994）原始建议的预热阶段是否能有效稳定训练过程。
• 探究对均值和方差预测分别进行正则化是否能提升模型性能。
• 为现实世界回归应用中的MVE网络提供基于实证的实用训练建议。

提出的方法

• 实施一个预热阶段，在此阶段仅训练均值头，方差通过偏置初始化固定为常数。
• 在均值与方差联合优化过程中使用梯度裁剪，以提升训练稳定性。
• 对均值和方差子网络分别应用独立的L2正则化系数，并通过交叉验证独立优化。
• 使用负对数似然损失训练MVE网络：$\mathcal{L}(\theta) = \sum_{i=1}^{N} \frac{1}{2}\log(\sigma^2_\theta(\bm{x}_i)) + \frac{1}{2}\frac{(y_i - \mu_\theta(\bm{x}_i))^2}{\sigma^2_\theta(\bm{x}_i)}$。
• 对方差输出应用softplus或指数变换，以确保其正值。
• 通过多次随机种子和5–10折交叉验证，在UCI回归基准上使用RMSE和对数似然指标评估性能。

实验结果

研究问题

• RQ1 遵循Nix和Weigend（1994）原始建议的预热阶段，是否能解决MVE网络训练中的收敛问题？
• RQ2 在预热后联合优化均值与方差是否优于在方差训练期间固定均值？
• RQ3 对均值和方差子网络分别应用正则化系数，是否相比共享正则化能带来更好的预测性能？
• RQ4 不同回归数据集中，均值与方差的最优正则化强度如何比较？

主要发现

• 在预热阶段，方差固定且仅训练均值，能显著提升训练稳定性，并防止网络过早聚焦于高性能区域。
• 若无预热阶段，MVE网络往往在拟合较差的区域无法有效学习，导致RMSE和对数似然得分欠佳。
• 对均值和方差分别正则化在多个UCI数据集中均一致提升性能，且方差通常需要比均值大一个数量级的正则化强度。
• 在energy和yacht数据集中，分别正则化相比共享正则化带来显著更优结果，即使最优正则化常数相近，改进效果依然明显。
• 在预热后固定均值或与方差联合优化的差异不大，但当不使用分别正则化时，联合优化略占优势。
• 在像波士顿住房这类问题相对简单的数据集中，所有策略表现相近，表明预热和分别正则化在复杂或噪声较大的回归任务中效益最为显著。