[论文解读] Time-Dynamic Estimates of the Reliability of Deep Semantic Segmentation Networks

Kira Maag, Matthias Rottmann+1 more|arXiv (Cornell University)|Nov 12, 2019

Anomaly Detection Techniques and Applications参考文献 46被引用 4

一句话总结

本文提出一种时间动态框架，通过在视频帧之间追踪分割区域并利用时间度量来提升不确定性量化，从而评估深度语义分割网络的可靠性。通过构建帧级不确定性度量的时间序列，并应用元分类与元回归模型，该方法相较单帧基线模型实现显著提升——准确率最高提升6.78个百分点，R²最高提升5.63个百分点，尤其在梯度提升与更长的时间序列下表现更优。

ABSTRACT

In the semantic segmentation of street scenes with neural networks, the reliability of predictions is of highest interest. The assessment of neural networks by means of uncertainties is a common ansatz to prevent safety issues. As in applications like automated driving, video streams of images are available, we present a time-dynamic approach to investigating uncertainties and assessing the prediction quality of neural networks. We track segments over time and gather aggregated metrics per segment, thus obtaining time series of metrics from which we assess prediction quality. This is done by either classifying between intersection over union equal to 0 and greater than 0 or predicting the intersection over union directly. We study different models for these two tasks and analyze the influence of the time series length on the predictive power of our metrics.

研究动机与目标

• 解决语义分割中缺乏时间不确定性评估的问题，特别是在自动驾驶等安全关键应用中。
• 通过利用视频帧间的时间一致性，提升分割预测的可靠性估计。
• 开发一种轻量级追踪方法，用于在连续帧之间关联预测分割区域，以支持时间序列分析。
• 研究时间序列度量是否相较于单帧方法，能提升元分类（IoU > 0 或否）与元回归（直接预测IoU）的性能。
• 评估时间序列长度与模型架构（如梯度提升、神经网络）对预测可靠性的影响。

提出的方法

• 使用轻量级、面向分割的追踪算法，在视频帧之间追踪预测分割区域，以维持对象身份的时间一致性。
• 从分割网络输出中提取每一分割区域的帧级不确定性度量（如Softmax熵、最高概率、MC Dropout方差）。
• 为每个分割区域构建这些度量的时间序列，以捕捉其时间动态与稳定性。
• 将时间序列作为输入，用于元模型的两项任务：(1) 元分类（预测IoU > 0），(2) 元回归（预测实际IoU值）。
• 在时间序列输入上训练并评估多种模型——梯度提升、前馈神经网络与线性模型。
• 在真实标注与伪标签（来自强参考模型）上联合训练元模型，尤其在真实标注有限时更具优势。

实验结果

研究问题

• RQ1 与单帧方法相比，视频序列中的时间信息是否能提升语义分割预测的可靠性估计？
• RQ2 时间序列长度如何影响元分类与元回归模型的预测性能？
• RQ3 在无真实标注的情况下，仅使用伪标签训练的元模型在多大程度上能达到与使用真实标注训练的模型相当的性能？
• RQ4 当以时间序列度量作为输入时，哪种模型架构（如梯度提升、神经网络）表现最佳？
• RQ5 在低数据场景下，引入时间动态是否能减少过拟合，尤其是当使用长时间序列时？

主要发现

• 所提出的时序动态方法相较单帧基线，元分类准确率最高提升6.78个百分点，AUROC提升5.04个百分点。
• 元回归性能在R²上提升5.63个百分点，使用梯度提升与时间序列输入时，在KITTI数据集上达到最高87.51%（±0.61%）。
• 仅使用伪标签训练的模型性能接近使用真实标注训练的模型，表明无需完整标注即可学习可靠的元模型。
• 当时间序列过长时，尤其在梯度提升模型中，由于训练数据有限（如VIPER数据集中仅4,877个分割区域），会出现过拟合，限制了更长序列的收益。
• 表现最佳的模型（使用时间序列特征的梯度提升）在KITTI数据集上实现R²为87.51%，AUROC为88.68%，优于先前的单帧方法。
• 时间序列输入在所有数据集与模型类型中均一致提升性能，证明时间一致性在不确定性估计中的价值。