[论文解读] PIVEN: A Deep Neural Network for Prediction Intervals with Specific Value Prediction

Eli Simhayev, Gilad Katz+1 more|arXiv (Cornell University)|Jun 9, 2020

Anomaly Detection Techniques and Applications参考文献 35被引用 12

一句话总结

PIVEN 是一种深度神经网络，通过将值预测建模为预测区间（PI）边界的学习函数，联合预测预测区间（PIs）和具体数值，确保预测值始终位于区间内，且不增加模型复杂度。与最先进方法相比，PIVEN 在保持竞争性值预测精度的同时，实现了更紧的预测区间，即使在使用现代卷积神经网络的大规模图像数据集上也表现优异。

ABSTRACT

Improving the robustness of neural nets in regression tasks is key to their application in multiple domains. Deep learning-based approaches aim to achieve this goal either by improving their prediction of specific values (i.e., point prediction), or by producing prediction intervals (PIs) that quantify uncertainty. We present PIVEN, a deep neural network for producing both a PI and a value prediction. Our loss function expresses the value prediction as a function of the upper and lower bounds, thus ensuring that it falls within the interval without increasing model complexity. Moreover, our approach makes no assumptions regarding data distribution within the PI, making its value prediction more effective for various real-world problems. Experiments and ablation tests on known benchmarks show that our approach produces tighter uncertainty bounds than the current state-of-the-art approaches for producing PIs, while maintaining comparable performance to the state-of-the-art approach for value-prediction. Additionally, we go beyond previous work and include large image datasets in our evaluation, where PIVEN is combined with modern neural nets.

研究动机与目标

• 解决现有方法的局限性：这些方法要么仅优化预测区间（PIs），要么仅优化点预测，无法同时优化两者。
• 确保预测值始终位于预测的PI内，且不增加模型复杂度。
• 避免对PI内数据的分布假设，从而增强在多样化真实世界回归任务中的鲁棒性。
• 在标准基准数据集和大规模图像数据集上评估该方法，证明其在现代神经网络架构下的泛化能力。
• 提供一种统一的端到端训练方法，同时优化PI宽度和值预测精度。

提出的方法

• PIVEN 使用单个深度神经网络，包含两个输出头：一个用于预测PI的上下界，另一个用于预测具体数值。
• 将值预测建模为PI边界的学习函数，确保其始终位于区间内，从而强制保证预测的完整性。
• 损失函数结合了基于分位数的损失（用于生成PI）和回归损失（用于值预测），并通过平衡超参数 β 来权衡PI紧致性与预测精度。
• 额外的超参数 λ 用于平衡预测区间覆盖率（PICP）与宽度（MPIW），从而控制覆盖率与精度之间的权衡。
• 使用随机梯度下降（SGD）进行端到端训练，避免了后处理优化或集成方法的需要。
• 该方法在表格回归数据集上进行了评估，并通过现代卷积神经网络架构扩展至图像数据。

实验结果

研究问题

• RQ1 深度神经网络能否在不增加模型复杂度的前提下，同时优化紧致的预测区间和准确的点预测？
• RQ2 将值预测建模为PI边界函数，是否相比独立预测或中点法，能提升预测完整性和性能？
• RQ3 当与现代卷积神经网络结合时，PIVEN 在大规模图像数据集上的表现如何？
• RQ4 PIVEN 是否能在保持竞争性值预测精度的同时，实现比最先进纯PI方法更紧的预测区间宽度？
• RQ5 超参数 β 和 λ 对PI紧致性、覆盖率与值预测精度之间权衡的影响是什么？

主要发现

• PIVEN 在波士顿数据集上的平均MPIW为1.09，显著低于QD-Plus的1.15，表明其生成的预测区间更紧。
• 在波士顿数据集上，PIVEN 的RMSE为3.13，与深度集成方法（DE）的3.21相当，表明其值预测性能具有竞争力。
• 在Energy数据集上，PIVEN 将RMSE降低至1.65，同时保持低MPIW（0.42），在两项指标上均优于QD-Plus。
• 消融实验表明，同时优化PI宽度与值预测，以及基于函数的值预测方法，均对PIVEN的优越性能有贡献。
• PIVEN 在大规模图像数据集上表现出良好的泛化能力，在MSD数据集上实现MPIW为2.42、RMSE为8.93，证明其与现代CNN的可扩展性。
• 超参数分析确认，β = 0.5 在PI紧致性与值预测精度之间提供了最佳平衡，而λ 有效控制了覆盖率与宽度之间的权衡。