[论文解读] Neuron Activation Coverage: Rethinking Out-of-distribution Detection and Generalization

Yibing Liu, Chris Xing Tian+3 more|arXiv (Cornell University)|Jun 5, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出神经元激活覆盖率（Neuron Activation Coverage, NAC），一种新颖的度量方法，用于量化深度神经网络中神经元被分布内（InD）训练数据激活的彻底程度。通过利用KL散度梯度建模神经元影响，NAC实现了最先进的分布外（OOD）检测性能（在CIFAR-100上FPR95提升10.60%），并展现出NAC与模型泛化能力之间的强相关性，优于标准验证指标，在选择鲁棒模型方面表现更优。

ABSTRACT

The out-of-distribution (OOD) problem generally arises when neural networks encounter data that significantly deviates from the training data distribution, i.e., in-distribution (InD). In this paper, we study the OOD problem from a neuron activation view. We first formulate neuron activation states by considering both the neuron output and its influence on model decisions. Then, to characterize the relationship between neurons and OOD issues, we introduce the extit{neuron activation coverage} (NAC) -- a simple measure for neuron behaviors under InD data. Leveraging our NAC, we show that 1) InD and OOD inputs can be largely separated based on the neuron behavior, which significantly eases the OOD detection problem and beats the 21 previous methods over three benchmarks (CIFAR-10, CIFAR-100, and ImageNet-1K). 2) a positive correlation between NAC and model generalization ability consistently holds across architectures and datasets, which enables a NAC-based criterion for evaluating model robustness. Compared to prevalent InD validation criteria, we show that NAC not only can select more robust models, but also has a stronger correlation with OOD test performance.

研究动机与目标

• 为解决深度学习中在分布偏移下模型失效的根本挑战——即分布外（OOD）检测与泛化问题。
• 识别一种更基础、基于神经元层面的模型行为表征，以捕捉OOD敏感性的根本原因。
• 开发一种简单而有效的度量指标——神经元激活覆盖率（NAC），用于量化神经元在分布内（InD）数据下的激活模式。
• 证明NAC在OOD检测和模型泛化评估方面均优于现有分布内（InD）验证标准。
• 在不同架构和数据集上建立NAC与模型鲁棒性之间强大且一致的相关性。

提出的方法

• 通过结合神经元输出及其对模型决策的影响，利用网络输出与均匀向量之间KL散度的梯度，形式化神经元激活状态。
• 引入神经元激活覆盖率（NAC）作为统计度量，衡量神经元状态被分布内（InD）训练数据激活的频率。
• 将NAC用于不确定性估计（NAC-UE）：较低的覆盖率分数表示更高的不确定性，从而实现OOD检测。
• 将NAC用于模型评估（NAC-ME）：整合所有神经元的覆盖率分布，以评估模型鲁棒性。
• 借鉴软件测试中的覆盖率分析原理，将激活不足的神经元识别为在分布外（OOD）输入下的潜在故障点。
• 在三个基准数据集（CIFAR-10、CIFAR-100、ImageNet-1K）以及DomainBed基准上应用NAC，用于OOD泛化性能评估。

实验结果

研究问题

• RQ1 在分布内（InD）数据下，神经元激活模式是否能有效区分分布外（OOD）输入与分布内（InD）输入？
• RQ2 神经元的激活覆盖率是否与不同架构和数据集上的模型泛化能力相关？
• RQ3 基于NAC的不确定性估计是否优于现有OOD检测方法？
• RQ4 基于NAC的模型评估是否能比标准分布内（InD）验证指标识别出更鲁棒的模型？
• RQ5 神经元覆盖率与模型在分布偏移下的鲁棒性之间是否存在根本性联系？

主要发现

• 在CIFAR-100上，NAC-UE相较于竞争性方法ViM，FPR95提升10.60%，AUROC提升4.58%，实现了OOD检测的SOTA性能。
• 在PACS数据集上，NAC-ME在OOD泛化任务上实现69.16%的平均准确率，优于基于验证的方法（65.04%），且与OOD测试性能的相关性更强。
• 在OfficeHome数据集上，NAC-ME在ViT-b16模型上实现47.86%的平均OOD准确率，显著高于验证基线的40.42%，展现出更强的鲁棒性选择能力。
• NAC与模型泛化能力之间的正相关性在不同架构（ResNet、Vision Transformer）和数据集（PACS、OfficeHome、TerraInc）中保持一致。
• NAC-ME与OOD测试性能的相关性强于标准的分布内（InD）验证指标，从而在OOD鲁棒性模型选择方面表现更优。
• 该方法在多种模型和数据集上均有效，NAC-ME在OfficeHome基准中对ResNet-50模型实现99.14%的OOD准确率，优于验证基线（98.71%）。