[论文解读] Tensor Normalization and Full Distribution Training

Wolfgang Fuhl|arXiv (Cornell University)|Sep 6, 2021

Model Reduction and Neural Networks参考文献 102被引用 31

一句话总结

在 ReLU 之后引入逐像素的张量归一化，以及将多类任务重新表述为多标签问题的全分布训练方法，从而在若干数据集和体系结构上提升准确率和鲁棒性。

ABSTRACT

In this work, we introduce pixel wise tensor normalization, which is inserted after rectifier linear units and, together with batch normalization, provides a significant improvement in the accuracy of modern deep neural networks. In addition, this work deals with the robustness of networks. We show that the factorized superposition of images from the training set and the reformulation of the multi class problem into a multi-label problem yields significantly more robust networks. The reformulation and the adjustment of the multi class log loss also improves the results compared to the overlay with only one class as label. https://atreus.informatik.uni-tuebingen.de/seafile/d/8e2ab8c3fdd444e1a135/?p=%2FTNandFDT&mode=list

研究动机与目标

• 通过在激活后应用一个无参数的逐像素张量归一化层来提升泛化能力。
• 通过对训练图像进行因式分解叠加以及多标签损失形式来提高模型鲁棒性。
• 将多类分类改写为多标签设定，并使用改编的 softmax 损失。
• 在多个数据集和网络架构上评估所提出的方法，以证明鲁棒性和准确性的提升。
• 使用 PGD 对抗性扰动评估鲁棒性并分析其影响。

提出的方法

• 提出一种二维张量归一化（TN），在深度 Z 上对每个 (x,y) 计算均值并从激活张量中减去。
• 归一化在 ReLU 之后在线进行，不增加额外内存负担，梯度仅通过减法反向传播。
• 通过使用基于调和级数的加权方案和随机选择类别，将多张图像合成为一个多标签样本，引入 Full Distribution Training (FDT)。
• 通过对预测应用 softmax 并使用真实分布 GT 来对所有相关标签计算梯度，将交叉熵损失调整为多标签设定（算法 4）。
• 提供构建多标签输入的算法（Eq. 2–4）以及多标签损失计算的算法（Alg. 4），以证明鲁棒学习。
• 通过 PGD 攻击评估鲁棒性，并与基线、overlaid (OV) 与 TN+FDT 配置进行比较。

实验结果

研究问题

• RQ1 在常见视觉数据集上，ReLU 之后的逐像素张量归一化是否能提升泛化能力？
• RQ2 全分布训练（FDT）是否在不增加额外训练时间或参数的情况下提升对抗性扰动的鲁棒性？
• RQ3 将多类分类改写为多标签问题相比标准交叉熵损失对准确性和鲁棒性的影响如何？
• RQ4 在 PGD 攻击下，TN 与 FDT 在不同架构和数据集上的综合影响是什么？

主要发现

• 张量归一化（TN）在若干数据集上在鲁棒性和准确性方面优于其他组合。
• 全分布训练（FDT）对 PGD 攻击的鲁棒性提高显著，且与 TN 结合时收益明显。
• 在 SVHN 上，FDT 的鲁棒性提升较小，因为数据中本就存在固有的多标签梯度，说明存在数据集相关的效应。
• TN 与 FDT 的组合在 CIFAR-10、CIFAR-100、Fashion-MNIST 和 SVHN 上对小型 ResNet-34 和更大模型均带来显著性能提升。
• 结果表明，TN 和 FDT 的有效性不需要额外参数或训练时间，尽管 TN 在归一化步骤上增加了一些计算量。