[论文解读] Picket: Self-supervised Data Diagnostics for ML Pipelines

Zifan Liu, Zhechun Zhou+1 more|arXiv (Cornell University)|Jun 8, 2020

Privacy-Preserving Technologies in Data被引用 5

一句话总结

Picket 是一种自监督系统，用于在表格数据的机器学习流水线中诊断数据损坏，通过无监督深度学习模型检测由系统性或对抗性噪声引起的训练样本和查询点的损坏。它在训练和部署过程中均提升了模型的鲁棒性，在多种模型和损坏类型下的数据质量验证中优于现有方法。

ABSTRACT

Data corruption is an impediment to modern machine learning deployments. Corrupted data can severely bias the learned model and can also lead to invalid inference. We present, Picket, a first-of-its-kind system that enables data diagnostics for machine learning pipelines over tabular data. Picket can safeguard against data corruptions that lead to degradation either during training or deployment. For the training stage, Picket identifies erroneous training examples that can result in a biased model, while for the deployment stage, Picket flags corrupted query points to a trained machine learning model that due to noise will result to incorrect predictions. Picket is built around a novel self-supervised deep learning model for mixed-type tabular data. Learning this model is fully unsupervised to minimize the burden of deployment, and Picket is designed as a plugin that can increase the robustness of any machine learning pipeline. We evaluate Picket on a diverse array of real-world data considering different corruption models that include systematic and adversarial noise. We show that Picket offers consistently accurate diagnostics during both training and deployment of various models ranging from SVMs to neural networks, beating competing methods of data quality validation in machine learning pipelines.

研究动机与目标

• 解决机器学习流水线中的数据损坏问题，该问题可能导致模型偏差并引发错误预测。
• 开发一种在模型训练和部署过程中均能检测数据损坏的系统，且无需依赖标注数据。
• 通过采用完全无监督学习方法进行数据诊断，最大限度降低部署开销。
• 设计一种插件兼容的架构，增强现有机器学习流水线的鲁棒性，而无需重新训练模型。
• 实现在多种数据类型和损坏模型（包括对抗性和系统性噪声）下的准确诊断。

提出的方法

• 利用一种专为混合类型表格数据设计的新颖自监督深度学习模型，无须标签即可学习代表性数据表征。
• 在原始未损坏数据上训练自监督模型，以学习数据的底层分布并检测偏离。
• 利用学习到的模型对训练样本和推理时的查询点进行异常概率评分。
• 将异常评分较高的样本标记为训练或部署过程中的潜在数据损坏。
• 将 Picket 作为插件集成到现有机器学习流水线中，实现实时诊断，而无需修改核心模型。
• 在自监督模型中应用对比学习原则，以提升在具有数值和类别特征的表格数据上的表征学习能力。

实验结果

研究问题

• RQ1 自监督模型是否能在训练和推理阶段均有效检测表格数据中的数据损坏？
• RQ2 在多种损坏模型下，Picket 的性能与现有数据质量验证方法相比如何？
• RQ3 Picket 在多大程度上可减少由损坏训练数据引起的模型偏差和预测错误？
• RQ4 Picket 在真实世界表格数据中面对对抗性噪声和系统性噪声时的鲁棒性如何？
• RQ5 Picket 是否可作为插件在多种机器学习模型（包括支持向量机和神经网络）上以极低开销进行部署？

主要发现

• Picket 一致识别出本应导致模型行为偏差的损坏训练样本。
• Picket 在部署过程中成功标记出本应导致错误预测的噪声查询点。
• 该系统在多种模型和数据集上检测数据损坏方面优于现有竞争性数据质量验证方法。
• Picket 在包括对抗性和系统性噪声在内的多种损坏模型下均保持高诊断准确性。
• 自监督方法无需标注数据或重新训练主机器学习模型，即可实现有效诊断。
• Picket 的插件式设计可实现与现有机器学习流水线的无缝集成，且部署开销极低。