[论文解读] NICEST: Noisy Label Correction and Training for Robust Scene Graph Generation

Lin Li, Jun Xiao+5 more|arXiv (Cornell University)|Jul 27, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出 NICEST，一种针对鲁棒图像场景图生成的模型无关框架，通过纠正噪声标签并实现无偏训练。该框架引入 NICE 用于检测并重新分配噪声样本的软标签，以及 NIST 用于带动态加权的多教师蒸馏，显著提升了在尾部谓词上的性能，并增强了在 VG-OOD 等基准上的泛化能力。

ABSTRACT

Nearly all existing scene graph generation (SGG) models have overlooked the ground-truth annotation qualities of mainstream SGG datasets, i.e., they assume: 1) all the manually annotated positive samples are equally correct; 2) all the un-annotated negative samples are absolutely background. In this paper, we argue that neither of the assumptions applies to SGG: there are numerous noisy ground-truth predicate labels that break these two assumptions and harm the training of unbiased SGG models. To this end, we propose a novel NoIsy label CorrEction and Sample Training strategy for SGG: NICEST. Specifically, it consists of two parts: NICE and NIST, which rule out these noisy label issues by generating high-quality samples and the effective training strategy, respectively. NICE first detects noisy samples and then reassigns them more high-quality soft predicate labels. NIST is a multi-teacher knowledge distillation based training strategy, which enables the model to learn unbiased fusion knowledge. And a dynamic trade-off weighting strategy in NIST is designed to penalize the bias of different teachers. Due to the model-agnostic nature of both NICE and NIST, our NICEST can be seamlessly incorporated into any SGG architecture to boost its performance on different predicate categories. In addition, to better evaluate the generalization of SGG models, we further propose a new benchmark VG-OOD, by re-organizing the prevalent VG dataset and deliberately making the predicate distributions of the training and test sets as different as possible for each subject-object category pair. This new benchmark helps disentangle the influence of subject-object category based frequency biases. Extensive ablations and results on different backbones and tasks have attested to the effectiveness and generalization ability of each component of NICEST.

研究动机与目标

• 为解决现有 SGG 模型中一个关键疏漏：即假设所有真实标注均正确，且所有未标注关系均为背景。
• 识别并纠正 SGG 数据集中三类噪声标注：常见易错型、同义词随机型和负样本噪声关系。
• 开发一种可泛化的框架，提升模型鲁棒性与泛化能力，尤其针对低频谓词类别。
• 提出一个新的基准 VG-OOD，通过最大化训练集与测试集之间的谓词分布差异，更有效地评估模型泛化能力。

提出的方法

• NICE 通过两阶段检测识别噪声样本：使用分布外检测进行负样本噪声检测（Neg-NSD），并通过基于密度的聚类进行正样本噪声检测（Pos-NSD）。
• NICE 通过加权 KNN 方法重新分配鲁棒的软谓词标签，将硬标签替换为软标签，以减少偏差。
• NIST 采用多教师知识蒸馏，包含两个不同的教师模型：一个偏向头部谓词（高召回率），另一个对尾部谓词无偏（高平均召回率）。
• NIST 中的动态权衡加权策略通过根据类别组（头部、中部、尾部）自适应调整损失贡献，惩罚偏差，从而优化知识融合。
• 该框架具有模型无关性，可无缝集成到任意 SGG 架构中，包括 Motifs 和 VCTree。
• VG-OOD 基准通过重新组织 Visual Genome 构建，以最大化训练集与测试集之间谓词的分布差异，从而隔离频率偏差的影响。

实验结果

研究问题

• RQ1 常见易错型、同义词随机型和负样本噪声标注如何影响 SGG 模型的性能与偏差？
• RQ2 统一框架能否有效检测并纠正 SGG 数据集中多种类型的噪声标签？
• RQ3 带动态加权的多教师蒸馏是否能提升 SGG 模型的泛化能力并减少频率偏差？
• RQ4 所提出的 NICEST 框架在低频（尾部）谓词类别上的性能提升程度如何？
• RQ5 新提出的 VG-OOD 基准在隔离并评估模型泛化能力（超越频率偏差）方面效果如何？

主要发现

• 当使用 VCTree 作为学生模型时，NICEST 在 VG 上达到 45.9% 的平均召回率，在 VG-OOD 上达到 40.8%，显著优于基线模型。
• NIST 中的组加权策略表现最佳，在 VG-OOD 上实现 40.8% 的平均召回率，证明其在平衡头部与尾部类别学习方面的有效性。
• 相较于先前的 NSC 方法，NICE 将 mR@100 从 33.0% 提升至 33.1%，将 R@100 从 56.9% 提升至 58.3%，证明其标签校正的精细化效果。
• NIST 蒸馏策略在所有基线模型（Motifs 和 VCTree）上均一致提升性能，显示出强大的泛化能力与通用性。
• 定性结果表明，NICEST 减少了对粗粒度谓词（如 'near'）的过度依赖，提升了对细粒度、准确关系（如 'sitting on'）的预测能力。
• Neg-NSD 有效识别出 123 个此前未见的视觉关系类别（如 'against' 用于两辆自行车之间），显著提升了尾部类别多样性与覆盖度。