[论文解读] Role of Orthogonality Constraints in Improving Properties of Deep Networks for Image Classification

Hongjun Choi, Anirudh Som+1 more|arXiv (Cornell University)|Sep 22, 2020

Advanced Neural Network Applications参考文献 24被引用 5

一句话总结

本文提出了一种正交球（Orthogonal Sphere, OS）正则化方法，通过一种简单且受物理启发的约束，在深层神经网络特征中强制实现正交性，显著提升了特征多样性、剪枝鲁棒性以及模型校准性能。该方法在CIFAR10、CIFAR100、SVHN和tiny ImageNet数据集上实现了最先进的语义定位与鲁棒性表现，且计算开销极低。

ABSTRACT

Standard deep learning models that employ the categorical cross-entropy loss are known to perform well at image classification tasks. However, many standard models thus obtained often exhibit issues like feature redundancy, low interpretability, and poor calibration. A body of recent work has emerged that has tried addressing some of these challenges by proposing the use of new regularization functions in addition to the cross-entropy loss. In this paper, we present some surprising findings that emerge from exploring the role of simple orthogonality constraints as a means of imposing physics-motivated constraints common in imaging. We propose an Orthogonal Sphere (OS) regularizer that emerges from physics-based latent-representations under simplifying assumptions. Under further simplifying assumptions, the OS constraint can be written in closed-form as a simple orthonormality term and be used along with the cross-entropy loss function. The findings indicate that orthonormality loss function results in a) rich and diverse feature representations, b) robustness to feature sub-selection, c) better semantic localization in the class activation maps, and d) reduction in model calibration error. We demonstrate the effectiveness of the proposed OS regularization by providing quantitative and qualitative results on four benchmark datasets - CIFAR10, CIFAR100, SVHN and tiny ImageNet.

研究动机与目标

• 解决标准深度网络在交叉熵损失训练下存在的特征冗余、可解释性差以及模型校准不足的问题。
• 探究是否可通过受图像形成物理原理启发的简单正交性约束，在无需复杂物理建模的前提下改善深度网络性能。
• 开发一种轻量级、闭式表达的正则化技术，以增强特征去相关性与模型鲁棒性。
• 评估OS正则化对特征表示质量、剪枝鲁棒性以及Grad-CAM可解释性的影响。
• 在包括CIFAR10、CIFAR100、SVHN和tiny ImageNet在内的多个基准数据集上验证其泛化能力。

提出的方法

• 基于简化假设下的物理启发潜在表征，推导出一种正交球（OS）正则化方法，获得闭式正交性约束。
• 将OS正则化实现为可微分的损失项，在最终卷积层的特征图上惩罚对正交性的偏离。
• 在训练过程中将OS正则化与标准的分类交叉熵损失联合优化，以同时提升准确率与特征去相关性。
• 采用基于幅值的特征图剪枝策略评估鲁棒性，在第9层选择并移除幅值最小的特征图。
• 使用Grad-CAM可视化方法评估注意力图的语义定位质量与可解释性。
• 在四个基准数据集上使用准确率、校准误差与剪枝鲁棒性指标，基于5个随机种子评估性能表现。

实验结果

研究问题

• RQ1 通过受物理启发的正则化方法强制实现深层特征的正交性，是否能提升特征多样性并减少冗余？
• RQ2 OS正则化是否能增强模型在高稀疏率下的特征剪枝鲁棒性，尤其是极端剪枝场景？
• RQ3 OS正则化在Grad-CAM可视化中，对类别激活图的语义定位能力改善程度如何？
• RQ4 与标准交叉熵训练相比，OS正则化对模型校准误差的影响如何？
• RQ5 OS正则化是否可在无需网络架构修改的前提下，有效应用于多样化图像分类基准数据集？

主要发现

• OS正则化显著降低了深层特征的相关性，在CIFAR10上成对相似性较基线降低20%。
• 在77%的剪枝率下，OS正则化模型保持91.00%的准确率，显著优于基线（84.12%）及其他基线方法如AMC（15.92%）。
• OS正则化提升了Grad-CAM的定位性能，使注意力更聚焦于目标物体，显著减少背景噪声，即使在重度剪枝后仍保持优异表现。
• 该方法有效降低了模型校准误差，表明其在不损失预测准确率的前提下实现了更优的置信度校准。
• 在CIFAR10上，OS正则化模型在22%剪枝率下达到94.65%准确率，优于AMC（93.99%）与SNTG（93.60%）。
• OS正则化在所有测试数据集（CIFAR10、CIFAR100、SVHN与tiny ImageNet）上均表现出稳健性能，展现出强大的泛化能力。