[论文解读] Neural Relation Graph: A Unified Framework for Identifying Label Noise and Outlier Data

Jang-Hyun Kim, Sangdoo Yun+1 more|arXiv (Cornell University)|Jan 29, 2023

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出神经关系图（Neural Relation Graph），一种统一框架，通过建模深度特征嵌入中的关系结构来检测标签噪声和异常数据。通过使用相似度和兼容性得分构建数据关系图，该方法在ImageNet、ESC-50和SST2上均优于当前最先进方法，在标签错误和分布外（OOD）检测方面均取得最先进性能，且具备可扩展性、模型无关性，并配备交互式可视化工具。

ABSTRACT

Diagnosing and cleaning data is a crucial step for building robust machine learning systems. However, identifying problems within large-scale datasets with real-world distributions is challenging due to the presence of complex issues such as label errors, under-representation, and outliers. In this paper, we propose a unified approach for identifying the problematic data by utilizing a largely ignored source of information: a relational structure of data in the feature-embedded space. To this end, we present scalable and effective algorithms for detecting label errors and outlier data based on the relational graph structure of data. We further introduce a visualization tool that provides contextual information of a data point in the feature-embedded space, serving as an effective tool for interactively diagnosing data. We evaluate the label error and outlier/out-of-distribution (OOD) detection performances of our approach on the large-scale image, speech, and language domain tasks, including ImageNet, ESC-50, and SST2. Our approach achieves state-of-the-art detection performance on all tasks considered and demonstrates its effectiveness in debugging large-scale real-world datasets across various domains. We release codes at https://github.com/snu-mllab/Neural-Relation-Graph.

研究动机与目标

• 为解决在具有复杂重叠问题的大规模真实数据集中识别标签噪声和异常数据的挑战。
• 克服单一指标评分方法无法区分标签错误与数据异常的局限性。
• 开发一种可扩展、与模型和领域无关的框架，用于联合检测标签错误和分布外（OOD）数据。
• 提供一种可解释的可视化工具，揭示特征空间中的上下文关系模式，支持交互式数据诊断。

提出的方法

• 构建一个关系图，其中节点表示数据点，边编码特征嵌入之间的相似度和兼容性。
• 使用相似度核函数（如余弦或RBF）结合兼容性项，定义数据关系函数以度量关系强度。
• 通过温度正则化的图聚合计算每个数据点的全局关系统计量（均值与方差）。
• 通过识别其与指定标签关系方差较高的数据点来检测标签错误。
• 通过识别在整个图结构中关系一致性较低的数据点来检测异常值。
• 引入一种数据关系图可视化工具，显示每个样本的关系均值与方差，支持交互式诊断。

实验结果

研究问题

• RQ1 特征嵌入空间中的关系结构是否能有效区分标签错误与异常数据，而单一指标方法无法做到？
• RQ2 所提出的基于关系图的方法在检测标签噪声和分布外样本方面，相较于现有单一指标评分方法表现如何？
• RQ3 相似度核函数与兼容性项的选择在不同领域中对检测性能的影响程度如何？
• RQ4 该方法是否能在不同模型架构和数据模态（图像、语音、文本）之间实现泛化？
• RQ5 所提出的可视化工具在支持人机协同数据诊断方面的有效性如何？

主要发现

• 所提方法在标签错误检测方面达到最先进性能，在8%噪声比例下，ImageNet上的平均精度（AP）达到0.526，优于最佳基线5.2%。
• 在同一ImageNet基准上，该方法的TNR95达到0.695，显著优于最佳基线（0.668），展现出更强鲁棒性。
• 在ESC-50和SST2的分布外检测任务中，该方法均取得最先进性能，AUC与F1分数均较高，证实其在多模态间的泛化能力。
• 消融研究显示，核函数中的兼容性项对性能至关重要；即使移除该项，仍能保持较强性能，凸显框架的鲁棒性。
• 数据关系图可视化能有效揭示不同关系模式——如标签错误呈现高方差，异常数据呈现低一致性——支持准确、交互式诊断。
• 该方法具备可扩展性与模型无关性，仅需特征嵌入与预测结果，无需微调或梯度计算，可直接部署于真实机器学习流水线中。