[论文解读] Robust Probabilistic Modeling with Bayesian Data Reweighting

Zhaoran Wang, Alp Kucukelbir+1 more|arXiv (Cornell University)|Jun 13, 2016

Bayesian Modeling and Causal Inference被引用 6

一句话总结

本文提出贝叶斯数据重加权（BDR），一种通过学习与观测相关的权重来增强概率模型鲁棒性的方法，该方法可降低异常值或不匹配数据点的影响。通过将每个似然项提升至潜变量权重，并联合推断权重与模型参数，BDR 在模型误设情况下提升了推断与预测性能，该方法在使用泊松因子分解的Movielens 1M数据集上得到验证。

ABSTRACT

Probabilistic models analyze data by relying on a set of assumptions. Data that exhibit deviations from these assumptions can undermine inference and prediction quality. Robust models offer protection against mismatch between a model's assumptions and reality. We propose a way to systematically detect and mitigate mismatch of a large class of probabilistic models. The idea is to raise the likelihood of each observation to a weight and then to infer both the latent variables and the weights from data. Inferring the weights allows a model to identify observations that match its assumptions and down-weight others. This enables robust inference and improves predictive accuracy. We study four different forms of mismatch with reality, ranging from missing latent groups to structure misspecification. A Poisson factorization analysis of the Movielens 1M dataset shows the benefits of this approach in a practical scenario.

研究动机与目标

• 解决概率建模中的模型误设问题，即数据偏离模型假设，导致推断与预测性能下降。
• 开发一种通用方法，用于检测并缓解违反模型假设的数据，而无需重新设计模型结构。
• 在高维复杂概率模型中实现鲁棒推断，此类模型中经典鲁棒方法可能失效。
• 提供一种系统化、可扩展的方法，在后验推断过程中识别并降低受损或异常观测的影响。

提出的方法

• 提出重加权概率模型（RPM），通过将每个观测的似然提升至潜变量权重 $ w_n $ 来修改原始似然。
• 定义潜变量 $ \beta $ 与权重 $ w $ 的联合后验分布，其中先验 $ p_w(w) $ 鼓励权重保持在1附近。
• 使用后验对数形式 $ \log p(\beta, w|y) \propto \log p_\beta(\beta) + \log p_w(w) + \sum_n w_n \log \ell(y_n|\beta) $ 指导推断。
• 使用变分推断或MCMC对 $ \beta $ 与 $ w $ 进行联合后验推断，使模型能够识别并降低低似然观测的影响。
• 利用权重上的先验，对 $ w_n = 1 $ 的极端偏离进行惩罚，确保仅极不可能的观测被降低权重。
• 将该方法应用于多种模型误设类型，包括缺失潜在群组与结构误设。

实验结果

研究问题

• RQ1 是否存在一种通用方法，可在不重新设计模型的前提下检测并缓解违反模型假设的数据点？
• RQ2 当数据包含异常值或污染时，贝叶斯数据重加权在提升预测准确性方面的有效性如何？
• RQ3 在高维概率模型中，潜变量权重在识别并降低不匹配观测方面的能力有多大？
• RQ4 对权重选择的先验如何影响模型的鲁棒性与推断质量？
• RQ5 该方法能否应用于具有复杂结构的真实世界数据集，如存在异常用户行为的推荐系统？

主要发现

• 贝叶斯数据重加权能够成功识别并降低受损观测的影响，例如儿童账户被用于观看恐怖电影的情况，从而提升模型鲁棒性。
• 在Movielens 1M数据集上，与标准泊松因子分解相比，使用BDR的泊松因子分解在模型误设情况下表现出更优的预测性能。
• 该方法能检测并降低似然极低的观测，例如在单峰分布中接近1.5的观测，从而改善整体拟合效果。
• 潜变量权重 $ w_n $ 能够自动适应，识别偏离模型假设生成过程的数据点。
• 权重上的先验在防止权重过度收缩方面起着关键作用，确保仅真正异常的观测被降低权重。
• 实证结果表明，BDR在多种模型不匹配类型（包括缺失群组与结构错误）下均能提升模型拟合度与预测准确性。