[论文解读] PixMix: Dreamlike Pictures Comprehensively Improve Safety Measures

Dan Hendrycks, Andy Zou+5 more|arXiv (Cornell University)|Dec 9, 2021

Anomaly Detection Techniques and Applications被引用 7

一句话总结

PixMix 是一种新颖的数据增强方法，通过在训练过程中混合具有高结构复杂性的图像（如分形和特征可视化图）来提升机器学习的安全性。该方法在所有主要安全指标上均实现了帕累托改进，包括对噪声、对抗性攻击和分布偏移的鲁棒性，同时提升了不确定性校准能力和异常检测性能。

ABSTRACT

In real-world applications of machine learning, reliable and safe systems must consider measures of performance beyond standard test set accuracy. These other goals include out-of-distribution (OOD) robustness, prediction consistency, resilience to adversaries, calibrated uncertainty estimates, and the ability to detect anomalous inputs. However, improving performance towards these goals is often a balancing act that today's methods cannot achieve without sacrificing performance on other safety axes. For instance, adversarial training improves adversarial robustness but sharply degrades other classifier performance metrics. Similarly, strong data augmentation and regularization techniques often improve OOD robustness but harm anomaly detection, raising the question of whether a Pareto improvement on all existing safety measures is possible. To meet this challenge, we design a new data augmentation strategy utilizing the natural structural complexity of pictures such as fractals, which outperforms numerous baselines, is near Pareto-optimal, and roundly improves safety measures.

研究动机与目标

• 解决同时提升多个常存在冲突的机器学习安全措施（如鲁棒性、校准性、异常检测）的挑战。
• 探究单一数据增强策略是否能在不牺牲干净数据性能的前提下，实现对多样化安全目标的帕累托改进。
• 探索结构复杂性（超越熵或噪声）在提升模型泛化能力和安全性中的作用。
• 开发一种实用且高效的数据增强流程，利用视觉上复杂的梦幻般图像以提升模型可靠性。

提出的方法

• 提出一种新的数据增强流程 PixMix，将干净图像与具有结构复杂性的图像（如分形和特征可视化图）进行混合。
• 采用一种通过可学习的 beta 分布进行混合的策略，主实验中使用超参数 k=4 和 β=4。
• 构建一个包含 30 万张图像的精选混合图像集，涵盖彩色分形图和特征可视化图，选型标准为视觉复杂性和多样性。
• 在训练过程中使用标准训练协议（如 ResNet-50、90 个周期、余弦退火学习率）应用该增强方法，无需修改网络架构。
• 利用混合图像集使模型暴露于高结构、非随机的视觉模式，这些模式与 CutMix 或 Mixup 等标准增强方法不同。
• 在多个基准上评估该方法：ImageNet-C、ImageNet-P、ImageNet-R，以及基于 Places365 的异常暴露（Outlier Exposure）数据集。

实验结果

研究问题

• RQ1 单一数据增强策略是否能同时提升多个相互冲突的机器学习安全指标？
• RQ2 引入具有高结构复杂性的图像（如分形和特征可视化图）是否能带来比标准增强方法更好的泛化性和鲁棒性？
• RQ3 混合图像集中结构复杂性在多大程度上优于随机图像或合成分布，以提升安全指标？
• RQ4 该方法是否能同时提升干净准确率和对抗性鲁棒性、校准性等安全指标，避免先前工作中常见的性能权衡？

主要发现

• 与基线相比，PixMix 在 ImageNet-C 上将平均噪声错误率（mCE）降低了 19.5%，优于所有先前方法。
• 在对抗性鲁棒性方面，PixMix 将错误率降低至 92.9%（较基线提升 3.9%），显著优于对抗训练基线方法。
• 在 ImageNet-C 上，PixMix 将校准误差降低 23.0%；在 ImageNet-¯C 上降低 14.9%，表明其在分布偏移下具有更优的不确定性估计能力。
• PixMix 在 Places365 上将异常检测 AUROC 提升至 89.3（较基线提升 +11.6%），是首个显著提升该指标的方法。
• PixMix 在 ImageNet 上将干净准确率提升 1.3%，而 SIN 方法则导致 2% 的下降，表明安全性提升并未以牺牲干净数据性能为代价。
• 消融实验确认，分形图和特征可视化图均不可或缺：移除任一组件均会导致安全指标和干净准确率下降。