[论文解读] Robust Variational Autoencoders for Outlier Detection and Repair of Mixed-Type Data

Simão Eduardo, Alfredo Nazábal+2 more|arXiv (Cornell University)|Jul 15, 2019

Anomaly Detection Techniques and Applications参考文献 5被引用 4

一句话总结

本文提出鲁棒变分自编码器（RVAE），一种深度生成模型，通过为每个特征建模两个分量（一个用于干净数据，一个用于异常值）来联合检测并修复混合类型表格数据中的单元级异常值。通过在训练过程中降低异常单元的权重，并采用混合推理方案，RVAE在异常值检测与修复方面表现出色，且对超参数选择具有较强的鲁棒性。

ABSTRACT

We focus on the problem of unsupervised cell outlier detection and repair in mixed-type tabular data. Traditional methods are concerned only with detecting which rows in the dataset are outliers. However, identifying which cells are corrupted in a specific row is an important problem in practice, and the very first step towards repairing them. We introduce the Robust Variational Autoencoder (RVAE), a deep generative model that learns the joint distribution of the clean data while identifying the outlier cells, allowing their imputation (repair). RVAE explicitly learns the probability of each cell being an outlier, balancing different likelihood models in the row outlier score, making the method suitable for outlier detection in mixed-type datasets. We show experimentally that not only RVAE performs better than several state-of-the-art methods in cell outlier detection and repair for tabular data, but also that is robust against the initial hyper-parameter selection.

研究动机与目标

• 填补现有无监督异常值检测方法仅关注行级异常、而忽略单元级污染的空白。
• 开发一种方法，识别某一行中具体哪些单元是异常的，从而实现精确的数据修复。
• 针对混合类型表格数据（连续与分类特征）设计统一、概率一致的异常值评分机制。
• 通过在训练过程中降低异常值的影响，提升深度生成模型对异常值的鲁棒性。
• 在无需标注数据或大量超参数调优的前提下，提供一种原理清晰、可比性强的异常值评分方法。

提出的方法

• 为每个特征引入双分量混合模型：一个分量用于建模干净数据，另一个用于隔离异常单元。
• 使用鲁棒散度（α-散度）在模型优化过程中降低异常单元的贡献。
• 实施一种结合摊销推理与精确变分更新的混合推理方案，以改善后验估计。
• 在变分自编码器框架内，使用高斯似然建模连续特征，使用Softmax似然建模分类特征。
• 通过混合分量分配学习每个单元为异常值的概率，实现单元级检测。
• 通过使用平衡且一致的评分机制组合各特征的似然值，构建行级异常值评分。

实验结果

研究问题

• RQ1 深度生成模型能否在不依赖标注数据的情况下，检测并修复混合类型表格数据中的单个异常单元？
• RQ2 在深度生成模型中，如何为连续与分类特征构建统一且可比较的异常值评分？
• RQ3 在训练过程中引入鲁棒推理是否能相比标准变分自编码器，同时提升异常值检测与数据修复性能？
• RQ4 在缺乏标注验证集的情况下，模型性能在多大程度上对超参数选择保持鲁棒？
• RQ5 结合摊销与精确更新的混合推理策略是否能在异常值检测任务中优于标准摊销推理？

主要发现

• RVAE 在混合类型表格数据上的单元级异常值检测与修复任务中，优于多种最先进方法，尤其在高噪声或复杂特征类型场景下表现突出。
• 模型在 α 超参数的不同取值下均保持一致的修复性能，仅在极端值附近（α ≈ 0 或 1）出现退化，表明对超参数选择具有高度鲁棒性。
• 与标准摊销推理相比，混合推理方案显著提升了后验估计与模型性能。
• 基于混合类型特征似然值的平衡组合所构建的行异常值评分，提供了一种一致且有效的异常行检测方法。
• 通过在训练过程中降低异常值的影响，RVAE 减少了对异常值的过拟合，从而更准确地估计干净数据分布。
• 该方法即使在高维、混合特征类型的复杂数据集中，也能成功识别单元级异常值，而传统变分自编码器因特征类型间似然值不可比而失效。