[论文解读] Variational Positive-incentive Noise: How Noise Benefits Models

Hongyuan Zhang, Sida Huang+2 more|arXiv (Cornell University)|Jun 13, 2023

Image and Signal Denoising Methods被引用 11

一句话总结

本文提出变分正向激励噪声（VPN），通过变分推断学习 pi-noise，在不改变基础模型架构的前提下，通过训练一个 VPN 生成器在训练和推理过程中添加噪声，从而提升基线模型。

ABSTRACT

A large number of works aim to alleviate the impact of noise due to an underlying conventional assumption of the negative role of noise. However, some existing works show that the assumption does not always hold. In this paper, we investigate how to benefit the classical models by random noise under the framework of Positive-incentive Noise (Pi-Noise). Since the ideal objective of Pi-Noise is intractable, we propose to optimize its variational bound instead, namely variational Pi-Noise (VPN). With the variational inference, a VPN generator implemented by neural networks is designed for enhancing base models and simplifying the inference of base models, without changing the architecture of base models. Benefiting from the independent design of base models and VPN generators, the VPN generator can work with most existing models. From the experiments, it is shown that the proposed VPN generator can improve the base models. It is appealing that the trained variational VPN generator prefers to blur the irrelevant ingredients in complicated images, which meets our expectations.

研究动机与目标

• 通过降低任务熵来简化学习任务，推动使用正向激励的噪声（pi-noise）。
• 提出一个变分界来近似 pi-noise，并通过神经网络实现实用训练。
• 开发一个架构无关、可插入现有分类器的 VPN 生成器。
• 通过实验演示 VPN 在多个数据集和基线模型上提升准确率。

提出的方法

• 在数据分布上定义任务熵 H(T) 以及任务与噪声之间的互信息 I(T,E)。
• 推导 I(T,E) 的变分下界，并引入可处理的目标函数 L_VPN，使用 q(y|x,ε) 来近似 p(y|x,ε)。
• 使用重参数化来采样噪声 ε ~ N(0, I)，并具有可学习的对角协方差 Σ(x,y)，将 ε 设为 ε̂ ∘ diag(Σ)。
• 通过基模型的输出建模 q(y|x,ε)（在扩增输入 x+ε 上取 softmax），以避免改变基架构。
• 将 VPN 生成器 G_θ 与基模型 φ 共同训练，可以在基模型训练期间或在基模型训练后进行。
• 提供高斯 pi-noise 的实际训练和测试算法，并展示学习到的噪声模式的可视化。

实验结果

研究问题

• RQ1 一个变分学习的 pi-noise 生成器是否能在不改变现有基模型架构的前提下持续提升其性能？
• RQ2 哪种形式的 pi-noise（例如带学习协方差的高斯噪声）最有效地降低任务熵 H(T|E) 并在不同数据集上提升准确率？
• RQ3 VPN 主要是否通过模糊图像中的背景/无关区域来简化分类任务？
• RQ4 与基模型联合训练相比，在基模型训练完成后再训练 VPN 的表现如何？
• RQ5 学习到的噪声强度在越来越复杂的数据集上是否可控且稳定？

主要发现

• 在 Fashion-MNIST、CIFAR-10 与 Tiny ImageNet 的多种设置中，VPN 训练持续提升基模型准确率。
• 与随机高斯噪声相比，VPN 提供更稳定且通常更大的准确率提升。
• 学习到的 pi-noise 倾向于模糊图像中的背景或无关成分，降低条件任务熵 H(T|E)。
• 将 VPN 与基模型联合训练可获得稳健提升，推理时使用训练好的 VPN 还可进一步稳定提升。
• 更大噪声样本量 m 能加速收敛，但即使 m=1 也能获得有竞争力的结果，使该方法在计算上具有实用性。