[论文解读] Nearest Neighbor Classifiers over Incomplete Information: From Certain Answers to Certain Predictions

Bojan Karlaš, Peng Li+5 more|arXiv (Cornell University)|May 11, 2020

Data Quality and Management参考文献 22被引用 7

一句话总结

本文提出 '确定性预测'（CP）以评估数据不完整对机器学习模型的影响，尤其针对最近邻分类器。通过形式化在所有可能的数据填补下预测均保持一致的条件，作者开发了高效算法来检查CP状态并统计支持的分类器数量，从而构建了一个数据清洗框架（CPClean），在极少人工干预下显著提升模型准确率。

ABSTRACT

Machine learning (ML) applications have been thriving recently, largely attributed to the increasing availability of data. However, inconsistency and incomplete information are ubiquitous in real-world datasets, and their impact on ML applications remains elusive. In this paper, we present a formal study of this impact by extending the notion of Certain Answers for Codd tables, which has been explored by the database research community for decades, into the field of machine learning. Specifically, we focus on classification problems and propose the notion of "Certain Predictions" (CP) -- a test data example can be certainly predicted (CP'ed) if all possible classifiers trained on top of all possible worlds induced by the incompleteness of data would yield the same prediction. We study two fundamental CP queries: (Q1) checking query that determines whether a data example can be CP'ed; and (Q2) counting query that computes the number of classifiers that support a particular prediction (i.e., label). Given that general solutions to CP queries are, not surprisingly, hard without assumption over the type of classifier, we further present a case study in the context of nearest neighbor (NN) classifiers, where efficient solutions to CP queries can be developed -- we show that it is possible to answer both queries in linear or polynomial time over exponentially many possible worlds. We demonstrate one example use case of CP in the important application of "data cleaning for machine learning (DC for ML)." We show that our proposed CPClean approach built based on CP can often significantly outperform existing techniques in terms of classification accuracy with mild manual cleaning effort.

研究动机与目标

• 通过 '确定性预测'（CP）的概念，形式化不完整数据对机器学习预测的影响。
• 开发高效算法以解决两个核心查询：在不完整数据世界中进行CP检查和预测计数。
• 将CP应用于机器学习数据清洗（DC for ML），在减少人工干预的同时提升模型准确率。
• 证明基于CP的清洗方法在准确率和效率方面均优于现有方法。

提出的方法

• 将数据库中 '确定性答案' 的概念从Codd表扩展至机器学习领域，定义 '确定性预测'（CP）为在所有可能的数据填补下均保持一致的预测。
• 提出两个基础查询：(Q1) CP检查 —— 判断测试样本是否在所有可能的数据填补下均为可预测的确定性；(Q2) 计数 —— 计算支持每个标签的分类器数量。
• 为在指数级庞大的可能世界中对最近邻分类器设计线性时间与多项式时间算法，利用几何与组合性质。
• 设计一种新型数据清洗框架CPClean，利用CP来优先选择最具影响的训练样本进行清洗。
• 使用验证集识别出清洗后能使最多验证实例变为CP的训练样本，从而最小化所需清洗工作量。
• 采用人机协同的可信源（oracle）验证并应用修复结果，由CP分析指导，以实现每步清洗的最大准确率增益。

实验结果

研究问题

• RQ1 我们能否形式化定义：在数据不完整的情况下，机器学习预测何时可被保证为确定性？
• RQ2 我们能否高效判断一个测试样本是否在所有可能的数据填补下均为可预测的确定性（即CP）？
• RQ3 我们能否高效统计出支持不确定样本每个预测标签的可能分类器数量？
• RQ4 基于CP的数据清洗方法是否能在准确率和工作量方面优于随机或启发式清洗策略？

主要发现

• 在Supreme数据集上，CPClean仅需清洗15%的训练样本即可使所有验证样本变为CP，而RandomClean则需清洗几乎全部样本。
• 在Bank数据集上，当清洗50%的数据时，CPClean几乎完全弥补了准确率差距，而RandomClean仅弥补了65%的差距。
• 验证集大小影响清洗效率与准确率差距的弥补程度，但1K大小的验证集已足够实现性能稳定。
• 所提出的CP框架可对最近邻分类器实现高效、可扩展的不完整数据影响分析，且在指数级庞大的可能世界中仍保持多项式时间解法。
• 在相同修复空间下，基于CP的清洗方法显著优于BoostClean与ActiveClean，以更少的人工干预实现更高的准确率增益。