[论文解读] Using Videos to Evaluate Image Model Robustness

Keren Gu, Brandon Yang+3 more|arXiv (Cornell University)|Apr 22, 2019

Adversarial Robustness in Machine Learning参考文献 20被引用 31

一句话总结

本文引入了自然鲁棒性——即对连续视频帧之间微小、自然变换的鲁棒性——并使用YouTube-BoundingBoxes数据集对其进行评估。研究发现，更准确的模型具有更高的自然鲁棒性，合成色彩失真可作为自然鲁棒性的强代理指标，而对抗训练在不同架构间并未系统性提升自然鲁棒性。

ABSTRACT

Human visual systems are robust to a wide range of image transformations that are challenging for artificial networks. We present the first study of image model robustness to the minute transformations found across video frames, which we term "natural robustness". Compared to previous studies on adversarial examples and synthetic distortions, natural robustness captures a more diverse set of common image transformations that occur in the natural environment. Our study across a dozen model architectures shows that more accurate models are more robust to natural transformations, and that robustness to synthetic color distortions is a good proxy for natural robustness. In examining brittleness in videos, we find that majority of the brittleness found in videos lies outside the typical definition of adversarial examples (99.9\%). Finally, we investigate training techniques to reduce brittleness and find that no single technique systematically improves natural robustness across twelve tested architectures.

研究动机与目标

• 研究图像模型在连续视频帧之间发生的自然、微小变换下的鲁棒性，这一现象在以往的对抗鲁棒性研究中被忽视。
• 利用真实世界视频数据建立自然鲁棒性的基准，避免在视频数据上使用ImageNet模型时产生的领域偏移问题。
• 确定现有训练技术是否能提升对自然变换的鲁棒性，以及对抗鲁棒性与自然鲁棒性之间是否存在相关性。
• 评估合成失真（如色彩偏移）在实践中是否可作为自然鲁棒性的可靠代理。

提出的方法

• 使用YouTube-BoundingBoxes（YT-BB）数据集，该数据集包含来自21万段视频的38万段未经剪辑的视频片段，用于评估模型在自然变换下的鲁棒性。
• 将自然鲁棒性定义为：在锚定帧正确分类的前提下，模型在相邻视频帧上的条件准确率，使用公式 $ R_d(f) = P(f(d(x)) = y \mid f(x) = y) $ 表示。
• 将自然鲁棒性与合成失真（如色彩饱和度、色调、噪声）及对抗样本进行比较，使用 $ L_\infty $ 范数量化扰动大小。
• 对12种模型架构（如ResNet、MobileNet、VGG）在YT-BB分类任务上进行微调，以确保领域对齐。
• 在所有架构上测试多种正则化与对抗训练技术，包括对抗logit配对、权重衰减、标签平滑和logit压缩。
• 通过测量 $ L_\infty $ 距离并对比典型 $ \epsilon = 16 $ 的对抗样本边界，分析脆弱视频帧对与对抗样本之间的重叠。

实验结果

研究问题

• RQ1 模型准确率与对视频帧间自然变换的鲁棒性之间存在何种相关性？
• RQ2 合成失真（如色彩偏移）在多大程度上可作为自然鲁棒性的有效代理？
• RQ3 在视频帧中观察到的脆弱性中有多少超出了典型对抗样本的定义范围？
• RQ4 标准对抗训练或正则化技术是否能系统性地提升不同模型架构下的自然鲁棒性？
• RQ5 自然帧间变换的幅度与对抗样本中使用的 $ L_\infty $ 范数之间存在何种关系？

主要发现

• 更准确的图像模型架构表现出显著更高的自然鲁棒性，顶级准确率与视频帧转换中的鲁棒性高度相关。
• 合成色彩失真（如饱和度和色调偏移）与自然鲁棒性高度相关，使其成为无需视频数据即可有效评估鲁棒性的可靠代理。
• 仅有0.01%的脆弱视频帧对（即模型在邻近帧误分类的情况）落在典型 $ L_\infty \leq 16 $ 的对抗样本定义范围内，表明大多数视频脆弱性未被对抗鲁棒性所捕捉。
• 连续视频帧之间（相距66ms）的平均 $ L_\infty $ 距离为213 ± 49.1，远超典型对抗扰动阈值。
• 在12种测试的模型架构中，没有一种正则化或对抗训练技术能系统性提升自然鲁棒性，尽管某些技术对特定模型有效（例如，权重衰减使ResNet-152的鲁棒性提升1.2%）。
• 将ImageNet模型直接微调至YT-BB数据集后，平均准确率下降27%，凸显了在鲁棒性评估中领域对齐的重要性。