[论文解读] Quality Resilient Deep Neural Networks

Samuel Dodge, Lina J. Karam|arXiv (Cornell University)|Mar 23, 2017

Advanced Image Processing Techniques参考文献 20被引用 33

一句话总结

本文提出一种专家混合深度学习模型，通过门控网络动态分配针对特定图像失真（如噪声、模糊）训练的专用神经网络专家的权重，实现无需显式失真标签的输入自适应路由。该方法在多种失真下表现出鲁棒的分类性能，并引入倒置树形网络（Inverted-TreeNets）实现参数高效共享，使模型参数量最多减少60%，同时提升准确率。

ABSTRACT

We study deep neural networks for classification of images with quality distortions. We first show that networks fine-tuned on distorted data greatly outperform the original networks when tested on distorted data. However, fine-tuned networks perform poorly on quality distortions that they have not been trained for. We propose a mixture of experts ensemble method that is robust to different types of distortions. The "experts" in our model are trained on a particular type of distortion. The output of the model is a weighted sum of the expert models, where the weights are determined by a separate gating network. The gating network is trained to predict optimal weights for a particular distortion type and level. During testing, the network is blind to the distortion level and type, yet can still assign appropriate weights to the expert models. We additionally investigate weight sharing methods for the mixture model and show that improved performance can be achieved with a large reduction in the number of unique network parameters.

研究动机与目标

• 解决深度神经网络在测试时遇到训练中未见的图像失真时泛化能力差的问题。
• 在不了解失真类型或程度的情况下，提升对多种失真类型（如噪声、模糊）的鲁棒性。
• 通过新颖的参数共享策略，减少集成模型的参数量，同时保持或提升性能。
• 开发一种系统，能够根据输入特征自动分配最优专家权重，而无需显式失真检测。

提出的方法

• 构建专家混合集成模型，其中每个专家是针对特定失真类型（如高斯噪声或模糊）微调的深度神经网络。
• 引入独立的门控网络，根据输入图像预测各专家的最优权重，实现无需显式失真标签的动态路由。
• 门控网络通过端到端训练最小化分类误差，学习根据输入的失真特征分配更高权重给更匹配的专家。
• 提出倒置树形网络（Inverted-TreeNets），其中早期层在专家间共享，后期层则专门化，与典型树形结构相反，以减少参数量。
• 在不同网络层（如从 Conv2_1 到 FC8）应用参数共享，消融实验表明性能在不同分支点存在权衡。
• 在 Caltech101、Caltech256 和 Scene67 数据集上评估模型，以 AUC 为主要指标，覆盖噪声和模糊失真。

实验结果

研究问题

• RQ1 与单模型微调或联合训练相比，专家混合模型是否能在多种图像失真下实现更好的鲁棒性？
• RQ2 加权集成模型在多种失真类型下的性能是否优于简单平均或单模型微调？
• RQ3 在专家混合架构中应用参数共享是否能显著减少模型规模，同时保持或提升准确率？
• RQ4 与标准树形参数共享相比，共享后期层并专门化早期层的倒置树形网络架构是否在准确率和效率上表现更优？
• RQ5 门控网络是否能在不显式预测失真类型或程度的情况下，有效分配专家权重？

主要发现

• 专家混合模型（M_mix）在噪声和模糊失真下的平均 AUC 达到 0.76，优于在单一失真上微调的模型（如 M_noise 和 M_blur），后者表现出较差的泛化能力。
• 在 FC7 分支点的倒置树形网络在 Caltech101 上实现平均 AUC 0.78，超过完整专家混合模型（0.76），也优于参数量相近的标准 TreeNet。
• 在 FC6 分支点的倒置树形网络将模型参数量减少至 389.35 百万（相比完整模型的 404.62 百万），实现 40% 的减少，同时保持高性能。
• 在 FC7 分支点的倒置树形网络在 Caltech101 上实现 0.77 的平均 AUC，显著优于参数量相近的标准 TreeNet（0.60 AUC）。
• 所提模型在不同失真类型间泛化良好，能正确分类同时存在噪声和模糊的图像，而单模型微调方法在未见失真下表现失败。
• 门控网络在无需显式失真标签的情况下成功分配了合适的专家权重，证明了模型可根据输入特征自适应路由输入的能力。