[论文解读] Training Set Debugging Using Trusted Items

Xuezhou Zhang, Xiaojin Zhu+1 more|arXiv (Cornell University)|Jan 24, 2018

Machine Learning and Data Classification被引用 26

一句话总结

本文提出 DUTI（Debugging Using Trusted Items），一种通过利用少量经验证的可信样本，识别并修正机器学习训练集中标签错误的方法。通过将问题建模为双层优化问题，以寻找最小的标签修正集合，确保模型在修正后的数据上能正确预测可信样本，DUTI 将潜在的错误标记为需人工审查的候选，展示了在多种数据集上对异常值和系统性标签错误的有效检测能力。

ABSTRACT

Training set bugs are flaws in the data that adversely affect machine learning. The training set is usually too large for man- ual inspection, but one may have the resources to verify a few trusted items. The set of trusted items may not by itself be adequate for learning, so we propose an algorithm that uses these items to identify bugs in the training set and thus im- proves learning. Specifically, our approach seeks the smallest set of changes to the training set labels such that the model learned from this corrected training set predicts labels of the trusted items correctly. We flag the items whose labels are changed as potential bugs, whose labels can be checked for veracity by human experts. To find the bugs in this way is a challenging combinatorial bilevel optimization problem, but it can be relaxed into a continuous optimization problem. Ex- periments on toy and real data demonstrate that our approach can identify training set bugs effectively and suggest appro- priate changes to the labels. Our algorithm is a step toward trustworthy machine learning.

研究动机与目标

• 解决在大规模训练集中检测标签错误的挑战，其中人工检查不可行。
• 通过识别影响公平性和准确性的系统性和异常值标签错误，提升模型的可靠性。
• 提供一种实用的调试框架，利用少量可信样本指导修正，而无需完全重新训练。
• 通过聚焦于高置信度错误候选，使领域专家能高效验证被标记的项目。
• 通过最小化、有针对性的标签修正，检测历史偏差和数据缺陷，支持可信的机器学习。

提出的方法

• DUTI 将双层优化问题形式化，以寻找训练集中最小的标签变更集合，使得在修改后的数据上训练的模型能正确预测可信样本。
• 通过拉格朗日松弛和 KKT 条件，将组合性的双层问题松弛为连续优化问题，从而可利用基于梯度的方法高效求解。
• 在回归任务中，对标签偏差（δ）使用 L1-范数惩罚，以促进识别出的错误修正具有稀疏性。
• 将学习算法的目标函数和约束整合为单层优化，其中模型参数 θ 由训练数据和修改后的标签推导得出。
• 为可信样本引入置信权重（ci），在优化中优先考虑更可靠的验证点。
• 该方法可推广至任意具有强凸且二阶可微目标函数的正则化经验风险最小化器。

实验结果

研究问题

• RQ1 少量可信样本是否能有效检测大规模训练集中的异常值和系统性标签错误？
• RQ2 如何识别出最小的标签修正集合，使得在修正数据上训练的模型能匹配可信样本的预测？
• RQ3 在不损失原始调试目标保真度的前提下，双层优化问题能在多大程度上被松弛为连续可解形式？
• RQ4 与基线方法相比，DUTI 在检测和修正现实世界标签错误方面的表现如何？
• RQ5 DUTI 的失败模式是什么？在何种情况下，它可能因模型局限性而非数据错误而误报非错误项？

主要发现

• DUTI 在玩具数据集和真实世界数据集中成功识别出异常值和系统性标签错误，包括招聘决策中的历史偏差案例。
• 该方法在检测和修正标签错误方面优于基线方法，尤其在仅凭数据一致性难以察觉的隐藏偏差场景中表现更优。
• 实验中，DUTI 将高置信度项目标记为潜在错误，人工检查确认其中许多确为真实标签错误。
• 该算法在不同数据分布和模型类型（包括核逻辑回归和正则化线性模型）下表现出鲁棒性。
• DUTI 标记的错误往往集中在高偏差或低覆盖率的数据区域，表明其对系统性缺陷具有敏感性。
• 尽管在可扩展性方面存在局限，且可能因模型欠拟合或高贝叶斯误差导致假阳性，DUTI 仍提供了一条实用且有效的可信机器学习调试流水线。