[论文解读] Wide Consensus for Parallelized Inference

Pedro C. Álvarez-Esteban, Eustasio del Barrio+2 more|arXiv (Cornell University)|Nov 17, 2015

Statistical Methods and Inference参考文献 35被引用 7

一句话总结

本文提出了一种基于Wasserstein空间中截断中位数的鲁棒共识聚合方法，用于在模型异质性条件下实现可靠的并行化或分布式推断。该方法建立了截断中位数的存在性、一致性和唯一性，并为位置-散度族提供了迭代算法，确保在分布式估计场景下计算上的可行性与对异常值的鲁棒性。

ABSTRACT

We develop a general theory to address a consensus-based combination of estimations in a parallelized or distributed estimation setting. Taking into account the possibility of very discrepant estimations, instead of a full consensus we consider a "wide consensus" procedure. The approach is based on the consideration of trimmed barycenters in the Wasserstein space of probability distributions on R^d with finite second order moments. We include general existence and consistency results as well as characterizations of barycenters of probabilities that belong to (non necessarily elliptical) location and scatter familes. On these families, the effective computation of barycenters and distances can be addressed through a consistent iterative algorithm. Since, once a shape has been chosen, these computations just depend on the locations and scatters, the theory can be applied to cover with great generality a wide consensus approach for location and scatter estimation or for obtaining confidence regions.

研究动机与目标

• 解决在数据源可能被污染或存在异质性的情况下，分布式或并行统计推断中不同概率测度估计值的组合问题。
• 开发一种鲁棒的聚合框架，以减轻极端或异常估计值的影响，且无需假设各单元之间同质。
• 为基于Wasserstein空间中截断中位数的共识估计提供一般性理论，适用于广泛的统计问题。
• 通过推导位置-散度族中截断中位数的计算迭代算法，确保计算上的可行性。

提出的方法

• 该方法在Wasserstein空间中采用截断中位数，以计算一种共识测度，该测度会降低或排除最不一致的估计值。
• 引入无偏截断，即在计算中位数前，从考虑中移除最极端分布的相同比例。
• 该方法利用最优传输映射和Wasserstein空间中的Fréchet均值，定义鲁棒的共识估计量。
• 对于位置-散度族，该方法通过矩阵几何均值，推导出中位数的闭式表征，从而实现高效计算。
• 基于中位数的一致计算，提出一种迭代算法，确保在弱正则性条件下收敛。
• 通过Gelbrich不等式和矩阵不等式，建立理论保证，证明截断中位数的存在性、唯一性和一致性。

实验结果

研究问题

• RQ1 当某些估计值因污染或异质性而高度不一致时，如何鲁棒地聚合多个概率测度的估计？
• RQ2 在一般概率分布下，Wasserstein空间中截断中位数的存在性和唯一性需满足何种条件？
• RQ3 能否高效计算位置-散度族的截断中位数，特别是在椭球形与非椭球形分布的情境下？
• RQ4 在模型误设或存在异常值的分布式推断中，该方法如何保持一致性和鲁棒性？
• RQ5 在存在污染或发散估计值的情况下，截断中位数与潜在真实分布之间的理论关系是什么？

主要发现

• 在弱条件下，即使估计值高度不一致，Wasserstein空间中的截断中位数也存在且唯一。
• 位置-散度族中一组分布的中位数本身仍属于同一族，确保了模型兼容性。
• 对于高斯分布，中位数的协方差矩阵满足一个涉及各独立协方差矩阵几何均值的矩阵积分方程。
• 用于位置-散度族中截断中位数计算的迭代算法具有一致性且计算上可行，适用于高维场景。
• 该方法通过无偏截断有效排除异常值，且无需事先了解污染结构，从而实现鲁棒性。
• 基于Gelbrich不等式的理论界表明，中位数在截断测度下最小化期望Wasserstein距离，从而保证最优性。