[论文解读] Source-free Unsupervised Domain Adaptation for Blind Image Quality Assessment

Jianzhao Liu, Xin Li+2 more|arXiv (Cornell University)|Jul 17, 2022

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

该论文提出了一种无源无监督域自适应方法，用于盲图像质量评估（BIQA），通过将图像质量建模为评分分布预测任务。它在批量归一化（BN）仿射参数上利用自监督目标——熵最小化、预测多样性最大化和高斯正则化——来将预训练模型适应到未标注的目标域，从而在不访问源数据的情况下，在跨域BIQA基准上实现了最先进性能。

ABSTRACT

Existing learning-based methods for blind image quality assessment (BIQA) are heavily dependent on large amounts of annotated training data, and usually suffer from a severe performance degradation when encountering the domain/distribution shift problem. Thanks to the development of unsupervised domain adaptation (UDA), some works attempt to transfer the knowledge from a label-sufficient source domain to a label-free target domain under domain shift with UDA. However, it requires the coexistence of source and target data, which might be impractical for source data due to the privacy or storage issues. In this paper, we take the first step towards the source-free unsupervised domain adaptation (SFUDA) in a simple yet efficient manner for BIQA to tackle the domain shift without access to the source data. Specifically, we cast the quality assessment task as a rating distribution prediction problem. Based on the intrinsic properties of BIQA, we present a group of well-designed self-supervised objectives to guide the adaptation of the BN affine parameters towards the target domain. Among them, minimizing the prediction entropy and maximizing the batch prediction diversity aim to encourage more confident results while avoiding the trivial solution. Besides, based on the observation that the IQA rating distribution of single image follows the Gaussian distribution, we apply Gaussian regularization to the predicted rating distribution to make it more consistent with the nature of human scoring. Extensive experimental results under cross-domain scenarios demonstrated the effectiveness of our proposed method to mitigate the domain shift.

研究动机与目标

• 解决由于隐私或存储限制而无法获取源数据时，盲图像质量评估（BIQA）中领域偏移的挑战。
• 弥合基于分类的无源域自适应与图像质量评估（IQA）标签固有的不确定性与连续性之间的差距。
• 开发一种仅基于预训练源模型和未标注目标数据的简单而有效的自适应方法。
• 通过将质量分数建模为概率分布，提升在跨域BIQA场景下的泛化能力。
• 通过使用领域特定的批量归一化（DSBN）层，实现跨多个目标域的持续学习。

提出的方法

• 将BIQA建模为评分分布预测问题，将质量分数表示为概率分布而非标量值。
• 设计三种自监督目标：熵最小化以鼓励置信预测，多样性最大化以避免平凡解，高斯正则化以使预测与人类评分分布对齐。
• 通过仅优化批量归一化（BN）层的仿射参数来实现模型自适应，将“源域风格”特征转换为“目标域风格”特征，而无需微调整个网络。
• 采用领域特定的批量归一化（DSBN）以支持在多个目标域上的同时与顺序自适应。
• 使用k-means聚类与拟合优度分析验证人类评分分布近似服从高斯分布。
• 应用基于MMD的对齐与概率建模方法，增强源域与目标域之间特征的一致性。

实验结果

研究问题

• RQ1 无源无监督域自适应能否有效应用于盲图像质量评估（BIQA）？因为IQA标签本质上具有不确定性和连续性。
• RQ2 当无法获取源数据而仅能访问预训练模型时，如何设计自监督目标以指导模型自适应？
• RQ3 与标量回归相比，将图像质量建模为评分分布在多大程度上能提升自适应性能？
• RQ4 对预测分布施加高斯正则化能否增强其与人类感知的一致性并提升泛化能力？
• RQ5 所提方法能否在不发生灾难性遗忘的前提下，支持跨多个目标域的持续学习？

主要发现

• 所提方法在多个跨域BIQA基准上实现了最先进性能，相较于基线方法，KonIQ-10K数据集上的SROCC提升最高达0.087。
• 结合熵损失、多样性损失与高斯正则化损失可获得最佳性能，在所有数据集上均持续提升了SROCC与PLCC。
• 高斯正则化损失有效使预测评分分布更接近高斯分布，与人类评分行为保持一致。
• 该方法在持续学习设置中保持高性能，在顺序学习六个数据集时，优于微调与EWC等监督基线方法。
• DSBN支持在多个领域上同时与顺序自适应，有效防止灾难性遗忘，同时保留先前任务的知识。
• 可视化结果表明，仅使用熵损失与多样性损失会产生校准不良的分布，而高斯正则化能恢复正确的高斯形状并提升预测准确性。