[论文解读] Robust and Scalable Bayes via a Median of Subset Posterior Measures

Stanislav Minsker, Sanvesh Srivastava+2 more|arXiv (Cornell University)|Jan 1, 2017

Advanced Statistical Methods and Models被引用 68

一句话总结

该论文提出了一种稳健且可扩展的贝叶斯推断方法，将数据划分为非重叠子集，分别为每个子集计算后验分布，并通过度量空间中概率测度的中位数来组合这些后验分布。该方法对异常值具有鲁棒性，并具备计算效率，其性能得到了理论和实证验证。

ABSTRACT

We propose a novel approach to Bayesian analysis that is provably robust to outliers in the data and often has computational advantages over standard methods. Our technique is based on splitting the data into non-overlapping subgroups, evaluating the posterior distribution given each independent subgroup, and then combining the resulting measures. The main novelty of our approach is the proposed aggregation step, which is based on the evaluation of a median in the space of probability measures equipped with a suitable collection of distances that can be quickly and efficiently evaluated in practice. We present both theoretical and numerical evidence illustrating the improvements achieved by our method.

研究动机与目标

• 开发一种对数据异常值具有鲁棒性且保持计算可扩展性的贝叶斯推断方法。
• 解决标准贝叶斯方法在面对污染数据或重尾分布数据时的局限性。
• 设计一种后验分布聚合机制，使其在统计上合理且计算高效。
• 为所提出方法的鲁棒性和一致性提供理论保证。
• 通过在真实和合成数据集上的数值实验，展示其实际优势。

提出的方法

• 将数据划分为非重叠的独立子组，以支持子集后验的并行计算。
• 使用标准贝叶斯方法独立计算每个子组的后验分布。
• 在概率测度空间中，利用一族可计算的距离，计算子集后验测度的中位数。
• 所使用的距离在实际中可高效计算，从而实现可扩展性。
• 最终的联合后验通过中位数测度获得，该测度最小化与所有子集后验的距离之和。
• 该方法利用概率测度空间的几何特性，确保对极端或损坏数据点的鲁棒性。

实验结果

研究问题

• RQ1 是否可以设计一种贝叶斯推断方法，既对异常值具有鲁棒性，又具备计算可扩展性？
• RQ2 与标准组合方法相比，后验中位数聚合策略在鲁棒性和准确性方面表现如何？
• RQ3 能否为所提出方法的一致性和鲁棒性提供理论保证？
• RQ4 在实际中，如何高效地使用可计算的距离度量来计算概率测度的中位数？
• RQ5 当数据存在污染或模型设定错误时，该方法是否仍能保持良好的频率学性质？

主要发现

• 所提出的方法通过在概率测度空间中使用中位数，实现了对异常值的鲁棒性，因为中位数对极端值的敏感性低于基于均值的聚合方法。
• 由于数据分割和可并行计算的子集后验，该方法展现出计算优势。
• 理论分析表明，在较弱的正则性条件下，基于中位数的聚合可产生一致的后验估计。
• 数值实验表明，与标准贝叶斯方法相比，该方法在含有污染或重尾观测值的数据集上性能更优。
• 使用可高效计算的距离度量，使得该方法可在大规模数据集上实际部署，且不损失鲁棒性。
• 即使数据中包含一定比例的异常值，该方法仍能保持良好的频率学覆盖性质。