[论文解读] Pixel-wise Energy-biased Abstention Learning for Anomaly Segmentation on Complex Urban Driving Scenes

Yu Tian, Yuyuan Liu+4 more|arXiv (Cornell University)|Nov 24, 2021

Anomaly Detection Techniques and Applications参考文献 40被引用 5

一句话总结

本文提出了一种新型异常分割方法——像素级能量偏差弃权学习（PEBAL），该方法联合优化基于能量的模型（EBM）以识别正常样本分布，同时引入一种自适应能量惩罚的像素级弃权学习（PAL）模块，显式学习像素级异常类别。PEBAL在四个基准测试中达到最先进性能，在复杂城市驾驶场景中显著降低了误报率和漏报率，同时保持了适用于实时自动驾驶系统的高计算效率。

ABSTRACT

State-of-the-art (SOTA) anomaly segmentation approaches on complex urban driving scenes explore pixel-wise classification uncertainty learned from outlier exposure, or external reconstruction models. However, previous uncertainty approaches that directly associate high uncertainty to anomaly may sometimes lead to incorrect anomaly predictions, and external reconstruction models tend to be too inefficient for real-time self-driving embedded systems. In this paper, we propose a new anomaly segmentation method, named pixel-wise energy-biased abstention learning (PEBAL), that explores pixel-wise abstention learning (AL) with a model that learns an adaptive pixel-level anomaly class, and an energy-based model (EBM) that learns inlier pixel distribution. More specifically, PEBAL is based on a non-trivial joint training of EBM and AL, where EBM is trained to output high-energy for anomaly pixels (from outlier exposure) and AL is trained such that these high-energy pixels receive adaptive low penalty for being included to the anomaly class. We extensively evaluate PEBAL against the SOTA and show that it achieves the best performance across four benchmarks. Code is available at https://github.com/tianyu0207/PEBAL.

研究动机与目标

• 解决现有异常分割方法依赖不确定性估计或重建技术所带来的局限性，这两类方法均存在高误报/漏报率和计算效率低下的问题。
• 提升在复杂城市驾驶场景中对小尺寸、远距离或模糊异常的检测能力，此类场景下传统方法往往失效。
• 通过避免使用重建网络并最小化微调开销，实现高效、实时推理。
• 通过自适应惩罚机制学习像素级异常类别，降低对困难正常样本的误分类。
• 在无需精心挑选异常类别的情况下，实现对多样化异常数据的鲁棒性能。

提出的方法

• PEBAL联合训练一个基于能量的模型（EBM），通过在COCO类别上进行异常暴露，使异常像素获得较高的能量值。
• 引入一种新颖的像素级弃权学习（PAL）模块，其中每个像素被分类为异常时的惩罚值，根据其能量得分自适应缩放。
• 自适应惩罚机制降低了将高能量像素（极有可能为异常）误判为异常的代价，从而提升精确率。
• 该方法仅微调最终分类模块，仅需130万个参数和极少的微调开销，与以往方法需全网络微调形成鲜明对比。
• EBM与PAL的联合优化使模型能够学习到一个独立的像素级异常类别，而无需依赖熵或重建损失。
• 该方法计算效率高，在NVIDIA 3090上每张图像的推理时间仅为0.55秒，优于Meta-OoD和Synboost。

实验结果

研究问题

• RQ1 基于能量建模与自适应弃权学习的联合学习框架，是否能提升复杂城市驾驶场景中异常分割的准确性？
• RQ2 与基于不确定性和基于重建的最先进方法相比，PEBAL能否有效降低误报和漏报？
• RQ3 在无需精心选择异常类别的情况下，PEBAL是否能在多样且稀疏的异常数据上保持强性能？
• RQ4 PEBAL能否实现适用于嵌入式自动驾驶系统的实时推理效率？
• RQ5 PEBAL对不同数量和类型的异常暴露数据的适应能力如何？

主要发现

• 在FS LostAndFound数据集上，PEBAL在75%异常暴露率下达到57.86 ± 2.83的AP和5.11 ± 1.69的FPR95，性能达到最先进水平。
• 在FS Static基准测试中，PEBAL的AP为91.85 ± 0.56，FPR95为1.63 ± 0.09，两项指标均优于Meta-OoD和Synboost。
• 模型在不同异常暴露比例（1%至75%）下保持一致性能，所有设置下AP变化小于2%。
• PEBAL每张图像的平均推理时间为0.55秒，显著快于Meta-OoD（0.85秒）和Synboost（1.95秒）。
• 仅需130万个可训练参数，PEBAL每轮训练时间仅12分钟，远低于Meta-OoD（26分钟）和Synboost（33分钟）。
• 该方法对多样化异常类别表现出强鲁棒性，即使仅使用1%的COCO类别进行异常暴露，也能取得优异结果。