[论文解读] Prediction Intervals: Split Normal Mixture from Quality-Driven Deep Ensembles

Tárik S. Salem, Helge Langseth+1 more|arXiv (Cornell University)|Jul 19, 2020

Machine Learning and Data Classification参考文献 18被引用 8

一句话总结

该论文提出QD+，一种质量驱动的深度集成方法，通过带有惩罚函数的多目标损失联合预测点估计值和预测区间，以提升训练稳定性。该方法采用分裂正态混合模型聚合集成输出，生成校准良好、非对称的预测区间，能够同时捕捉认知不确定性与偶然不确定性，通过解析参数初始化实现更高的鲁棒性与更快的收敛速度。

ABSTRACT

Prediction intervals are a machine- and human-interpretable way to represent predictive uncertainty in a regression analysis. In this paper, we present a method for generating prediction intervals along with point estimates from an ensemble of neural networks. We propose a multi-objective loss function fusing quality measures related to prediction intervals and point estimates, and a penalty function, which enforces semantic integrity of the results and stabilizes the training process of the neural networks. The ensembled prediction intervals are aggregated as a split normal mixture accounting for possible multimodality and asymmetricity of the posterior predictive distribution, and resulting in prediction intervals that capture aleatoric and epistemic uncertainty. Our results show that both our quality-driven loss function and our aggregation method contribute to well-calibrated prediction intervals and point estimates.

研究动机与目标

• 解决现有质量驱动深度集成方法在预测区间生成中缺乏点估计的问题。
• 通过引入惩罚函数提升训练稳定性，防止区间交叉并确保预测的语义完整性。
• 提出一种理论基础扎实的集成预测区间聚合方法，基于分裂正态混合建模。
• 通过解析参数初始化加速并提高分裂正态分布拟合的成功率。
• 提供可复现的、超参数引导的训练流程，并将非贝叶斯方法扩展至深度学习中的不确定性量化。

提出的方法

• 采用多目标损失函数，结合均方误差（MSE）用于点估计与质量驱动损失用于预测区间，实现联合优化。
• 引入惩罚函数，通过防止点估计落在预测区间边界之外并避免区间交叉，以确保语义完整性。
• 使用分裂正态混合分布对集成预测区间进行聚合，以建模非对称与多模态的后验预测分布。
• 提出分裂正态分布参数的解析初始化方法，相比随机初始化，显著提升拟合收敛速度与成功率。
• 使用PyTorch实现神经网络，使用JAX进行分布拟合，通过Sacred实现完整可复现性。
• 提供超参数搜索指南与消融实验，以支持可靠模型训练与比较。

实验结果

研究问题

• RQ1 单一深度学习模型能否同时生成准确的点估计与校准良好的预测区间？
• RQ2 在损失函数中引入惩罚函数是否能显著提升训练稳定性并防止预测中的语义不一致？
• RQ3 与先前方法相比，分裂正态混合模型是否能提供更准确且理论依据更充分的集成预测区间聚合？
• RQ4 与随机初始化相比，分裂正态参数的解析初始化是否能带来更快且更可靠的拟合？
• RQ5 与最先进质量驱动深度集成方法相比，所提出的改进在校准性与鲁棒性方面表现如何？

主要发现

• QD+方法在基线方法基础上实现了更优的覆盖率与更窄的区间宽度，生成了校准良好的预测区间。
• 引入惩罚函数后，在如Protein数据集等具有挑战性的设置中，完全消除了对训练重试的需求，而原始QD方法每轮训练平均需约一次重试。
• 相比随机初始化，分裂正态参数的解析初始化显著提升了拟合成功率并缩短了收敛时间。
• 消融实验表明，惩罚函数对维持语义完整性和训练稳定性至关重要。
• 该方法通过灵活的分裂正态混合表示，成功捕捉了认知不确定性与偶然不确定性。
• 实现完全可复现，提供详细的超参数指南，并在GitHub上公开了源代码。