[论文解读] Uncertainty Prediction for Deep Sequential Regression Using Meta Models

Jiří Navrátil, Matthew Arnold+1 more|arXiv (Cornell University)|Jul 2, 2020

Anomaly Detection Techniques and Applications参考文献 33被引用 5

一句话总结

本文提出了一种用于深度序列回归的元建模框架，可在不假设平稳性的前提下预测不确定性，通过联合训练的基模型-元模型生成对称与非对称不确定性边界。该方法在稳定与漂移数据场景下均优于基线模型，显著提升了校准度与带宽效率，尤其在非对称边界方面，可在保持覆盖率的同时减少不确定性宽度。

ABSTRACT

Generating high quality uncertainty estimates for sequential regression, particularly deep recurrent networks, remains a challenging and open problem. Existing approaches often make restrictive assumptions (such as stationarity) yet still perform poorly in practice, particularly in presence of real world non-stationary signals and drift. This paper describes a flexible method that can generate symmetric and asymmetric uncertainty estimates, makes no assumptions about stationarity, and outperforms competitive baselines on both drift and non drift scenarios. This work helps make sequential regression more effective and practical for use in real-world applications, and is a powerful new addition to the modeling toolbox for sequential uncertainty quantification in general.

研究动机与目标

• 解决深度循环网络在序列回归任务中缺乏可靠不确定性估计的问题。
• 开发一种灵活的不确定性量化方法，不假设平稳性，亦无需施加严格的数据假设。
• 提升模型在数据漂移下的校准度与鲁棒性，这是现实应用中的常见挑战。
• 实现非对称不确定性边界，以减少带宽成本，同时保持预测可靠性。
• 引入一种新的评估框架，用于在漂移条件下评估序列回归中不确定性质量。

提出的方法

• 该方法采用元建模框架，其中基模型执行序列回归，元模型预测基模型的误差行为。
• 采用联合训练策略（JMS），基模型与元模型端到端联合训练，使元模型能够访问丰富的内部表征。
• 元模型通过建模基模型预测误差的分布来学习不确定性预测，从而支持对称与非对称置信区间。
• 通过专用输出头独立预测上下误差方向，生成非对称边界，提升带宽效率。
• 采用超额-盈余（Excess-Deficit）与带宽指标进行评估，并通过交叉验证评估在漂移条件下的泛化能力。
• 该方法在两个真实世界数据集（MIT Traffic 与 SPE9PR 油水产量数据）上与基线方法（包括 GARCH、变分 dropout 与集成方法）进行对比评估。

实验结果

研究问题

• RQ1 元建模方法是否能在不假设平稳性的前提下，提升深度序列回归中的不确定性量化性能？
• RQ2 与白盒或黑盒元建模相比，基模型与元模型的联合训练在不确定性质量方面表现如何？
• RQ3 非对称不确定性边界是否能减少带宽，同时保持或提升覆盖率？
• RQ4 该方法在数据漂移这一现实部署关键挑战下的表现如何？
• RQ5 与强基线相比，其在不确定性校准度与带宽效率方面的相对提升如何？

主要发现

• 联合训练的元模型（JMS）表现最佳，在匹配条件下于 MITV 数据集上 Excess-Deficit 指标相对提升了 57.8%。
• 在 SPE9PR 数据集的漂移场景下，JMS 在 Excess-Deficit 指标上实现了 52.5% 的提升，显著优于包括 GARCH 与集成方法在内的基线模型。
• 非对称 JMA 模型在最优条件下平均将不确定性带宽减少了 44.1%，展现出显著的效率优势。
• JMA 模型在预测误差符号（方向）方面分别达到了 83.3% 与 91.1% 的准确率，验证了其非对称行为的有效性。
• 尽管对称模型如 JMS 在 Excess-Deficit 指标上优于 JMA，但 JMA 在带宽方面占据主导地位，显示出其在成本敏感型应用中的实际优势。
• 该方法在匹配与漂移场景下均表现出一致性能，且在分布偏移下退化程度极低，而许多基线模型则表现不佳。