[论文解读] Task-Specific Normalization for Continual Learning of Blind Image Quality Models

Weixia Zhang, Kede Ma+2 more|arXiv (Cornell University)|Jul 28, 2021

Image Processing Techniques and Applications被引用 14

一句话总结

本文提出 TSN-IQA，一种用于无参考图像质量评估的持续学习方法，通过冻结预训练的卷积滤波器以保证稳定性，并学习任务特定的批归一化参数以实现可塑性。通过使用轻量级 K-means 门控机制组合多个任务特定头的预测结果，该方法在仅增加极少参数的情况下，实现了卓越的准确性、对任务顺序和长度的鲁棒性，以及在六个 IQA 数据集上的最小遗忘。

ABSTRACT

In this paper, we present a simple yet effective continual learning method for blind image quality assessment (BIQA) with improved quality prediction accuracy, plasticity-stability trade-off, and task-order/-length robustness. The key step in our approach is to freeze all convolution filters of a pre-trained deep neural network (DNN) for an explicit promise of stability, and learn task-specific normalization parameters for plasticity. We assign each new IQA dataset (i.e., task) a prediction head, and load the corresponding normalization parameters to produce a quality score. The final quality estimate is computed by black a weighted summation of predictions from all heads with a lightweight $K$-means gating mechanism. Extensive experiments on six IQA datasets demonstrate the advantages of the proposed method in comparison to previous training techniques for BIQA.

研究动机与目标

• 为解决在无参考图像质量评估（BIQA）持续学习中灾难性遗忘的问题，即模型需适应新失真类型而不损失对先前数据的性能。
• 通过将特征提取与任务特定适应解耦，改善 BIQA 持续学习中的可塑性-稳定性权衡。
• 实现对不同任务顺序和长度的鲁棒性能，克服基于正则化方法（如 LwF）的局限性。
• 设计一种轻量级推理机制，避免依赖测试时的“oracle”或额外深度网络进行头权重分配。
• 验证该方法在训练任务之外未见数据集上的泛化能力，证明其对真实世界分布偏移的适应能力。

提出的方法

• 冻结预训练深度神经网络的所有卷积滤波器，以保留学习到的特征并确保跨任务的稳定性。
• 为每个新任务引入任务特定的批归一化（BN）参数，使模型能无须更新主干网络即可实现对新失真类型的可塑性适应。
• 为每个任务附加一个独立的全连接预测头，使用对应的任务特定 BN 参数生成质量评分。
• 使用轻量级 K-means 门控（KG）机制组合所有头的预测结果，该机制基于失真感知的 BN 统计信息计算动态权重。
• 在推理过程中使用 KG 模块，计算所有头预测结果的加权平均，实现对输入失真特征的动态适应。
• 以端到端方式训练模型，对每个新任务使用标准损失函数，同时保持特征提取器冻结，仅更新 BN 和头参数。

Figure 1: Illustration of continual learning for BIQA. The grey cylinders denote the inaccessibility of previous and future training data. During testing, we use all previous and the current test sets to evaluate the stability and plasticity of the learned BIQA model.

实验结果

研究问题

• RQ1 任务特定归一化是否能有效防止持续 BIQA 中的灾难性遗忘，同时保持高预测准确性？
• RQ2 与现有持续学习基线相比，该方法在不同任务顺序和序列长度下的表现如何？
• RQ3 K-means 门控机制是否能在不增加额外模型组件的前提下，基于输入失真特征有效分配有意义的权重给预测头？
• RQ4 该方法是否能泛化到训练序列中未包含的未见 IQA 数据集？
• RQ5 计算复杂度如何随任务数量增长？是否可高效加速？

主要发现

• TSN-IQA 在六个基准 IQA 数据集上达到最先进性能，相比先前方法（如 LwF-KG）展现出更优的质量预测准确性。
• 该方法对任务顺序和长度具有强鲁棒性，在不同训练序列中性能下降极小。
• K-means 门控机制分配了具有感知意义的权重：在 TID2013 上，训练于合成数据集（如 LIVE、CSIQ）的头获得更高权重；在 SPAQ 上，训练于真实失真（如 KonIQ-10K）的头更受青睐。
• BN 参数的 KL 散度与预测准确性之间存在强相关性（SROCC = -0.776），表明相似失真类型可带来更准确的跨数据集泛化。
• 该方法在任务数量上的计算复杂度保持线性，且硬分配变体将推理成本降低 T 倍，同时仍优于 LwF-KG 在相同复杂度下的表现。
• TSN-IQA 对未见数据集具有良好的泛化能力，在未训练过的 TID2013 和 SPAQ 上仍取得合理 SROCC，证实其泛化能力。

Figure 2: Illustration of task-specific BN. The parameters of all convolutions are frozen and shared across all tasks. A group of BN parameters is customized for each task.