[论文解读] The Devil is in the Labels: Noisy Label Correction for Robust Scene Graph Generation

Lin Li, Long Chen+4 more|arXiv (Cornell University)|Jun 7, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出 NICE，一种适用于场景图生成（SGG）任务的、与模型无关的噪声标签修正框架，通过分布外检测、基于聚类的正样本过滤以及加权 KNN 实现标签重分配，识别并修正三类标注噪声——易混淆型（common-prone）、同义词随机型（synonym-random）和负样本型（negative）。NICE 通过优化噪声标签，在多种主干网络和基准测试上显著提升 SGG 性能，在 mR@K 和 R@K 指标上达到当前最优结果。

ABSTRACT

Unbiased SGG has achieved significant progress over recent years. However, almost all existing SGG models have overlooked the ground-truth annotation qualities of prevailing SGG datasets, i.e., they always assume: 1) all the manually annotated positive samples are equally correct; 2) all the un-annotated negative samples are absolutely background. In this paper, we argue that both assumptions are inapplicable to SGG: there are numerous "noisy" groundtruth predicate labels that break these two assumptions, and these noisy samples actually harm the training of unbiased SGG models. To this end, we propose a novel model-agnostic NoIsy label CorrEction strategy for SGG: NICE. NICE can not only detect noisy samples but also reassign more high-quality predicate labels to them. After the NICE training, we can obtain a cleaner version of SGG dataset for model training. Specifically, NICE consists of three components: negative Noisy Sample Detection (Neg-NSD), positive NSD (Pos-NSD), and Noisy Sample Correction (NSC). Firstly, in Neg-NSD, we formulate this task as an out-of-distribution detection problem, and assign pseudo labels to all detected noisy negative samples. Then, in Pos-NSD, we use a clustering-based algorithm to divide all positive samples into multiple sets, and treat the samples in the noisiest set as noisy positive samples. Lastly, in NSC, we use a simple but effective weighted KNN to reassign new predicate labels to noisy positive samples. Extensive results on different backbones and tasks have attested to the effectiveness and generalization abilities of each component of NICE.

研究动机与目标

• 为解决 SGG 数据集中被忽视的噪声真实标注问题，该问题违背了两个常见假设：所有正样本标签均正确，所有未标注的负样本均为背景。
• 识别并修正三类标注噪声：易混淆型（将细粒度谓词错误标注为粗粒度谓词）、同义词随机型（同义词选择不一致）、负样本型（非背景的错误负样本）。
• 开发一种与模型无关的框架，在无需模型微调或架构修改的前提下，提升训练数据质量。
• 证明清洗噪声标签可使 SGG 模型更具鲁棒性与泛化能力，尤其在长尾谓词分布下表现更优。

提出的方法

• Neg-NSD 将噪声负样本检测视为分布外检测问题，为检测到的异常样本分配伪标签。
• Pos-NSD 采用基于聚类的算法，按语义相似性对正样本进行分组，将最嘈杂的聚类识别为噪声正样本。
• NSC 采用加权 KNN 算法，基于特征相似度，将更高质量的谓词标签重新分配给噪声正样本。
• 该框架采用三阶段流水线：首先检测噪声负样本，然后过滤噪声正样本，最后通过重分配修正标签。
• 超参数如截止距离 $d_c$ 和 wKNN 中的 K 值，按谓词类别分别调优，以平衡头部、中段和尾部谓词的性能表现。
• 该方法与模型无关，可在任何 SGG 主干网络之前，通过 NICE 对数据集进行预处理后应用。

实验结果

研究问题

• RQ1 易混淆型与同义词随机型标注偏差如何影响 SGG 模型的性能与泛化能力？
• RQ2 分布外检测能否有效识别出并非真正背景的噪声负样本？
• RQ3 基于聚类的过滤方法在隔离噪声样本方面，能在多大程度上提升正样本质量？
• RQ4 加权 KNN 能否更准确地将谓词标签重新分配给噪声正样本？其对下游性能有何影响？
• RQ5 修正噪声标签是否能在不同 SGG 模型与评估指标上实现一致的性能提升？

主要发现

• NICE 在多种 SGG 模型（包括 Motifs 及其他主干网络）上显著提升 mR@K 与 R@K，证明其具备强大泛化能力。
• 仅使用 Pos-NSD 组件即可通过减少正样本数量并提升其质量，使 mR@K 显著提升，证明噪声正样本会严重损害模型性能。
• NSC 组件带来最大性能增益，表明对噪声正样本进行标签重分配，比单纯过滤更有效。
• T-SNE 可视化结果表明，NICE 有效降低了特征空间中的不一致性，尤其在同义词随机型与易混淆型样本对中表现明显。
• 消融实验表明，wKNN 中 K=3 在指标间提供了最佳平衡，且 $d_c$ 的 (S,M,L) 超参数设置可获得最优结果。
• NICE 成功检测并修正了非背景的负样本，提升了对缺失或细粒度关系（如 'growing on' 与 'on'）的检测能力。