[论文解读] Optimistic Distributionally Robust Optimization for Nonparametric Likelihood Approximation

Viet Anh Nguyen, Soroosh Shafieezadeh-Abadeh+3 more|arXiv (Cornell University)|Oct 23, 2019

Gaussian Processes and Bayesian Inference被引用 8

一句话总结

本文提出了一种乐观的分布鲁棒优化框架，用于非参数似然近似，其中似然通过在Wasserstein或KL散度基的模糊集内最大化观测样本在某一概率测度下的概率来近似。该方法在特定情况下可转化为具有解析解的凸优化问题，并为后验推断提供了强有力的理论保证。

ABSTRACT

The likelihood function is a fundamental component in Bayesian statistics. However, evaluating the likelihood of an observation is computationally intractable in many applications. In this paper, we propose a non-parametric approximation of the likelihood that identifies a probability measure which lies in the neighborhood of the nominal measure and that maximizes the probability of observing the given sample point. We show that when the neighborhood is constructed by the Kullback-Leibler divergence, by moment conditions or by the Wasserstein distance, then our extit{optimistic likelihood} can be determined through the solution of a convex optimization problem, and it admits an analytical expression in particular cases. We also show that the posterior inference problem with our optimistic likelihood approximation enjoys strong theoretical performance guarantees, and it performs competitively in a probabilistic classification task.

研究动机与目标

• 为解决贝叶斯统计中似然评估不可行的问题，特别是当无法获得闭式表达式时。
• 开发一种计算上可处理的非参数似然近似方法，同时保持统计鲁棒性。
• 确保在似然近似下后验推断具有强有力的理论性能保证。
• 提供一种基于Wasserstein和KL散度基模糊集的似然近似凸优化框架。
• 尽管存在似然不可行性，仍展示在概率分类任务中的竞争力表现。

提出的方法

• 该方法将对似然的名义信念建模为观测样本上的经验分布。
• 将其表述为乐观似然近似的分布鲁棒优化问题：在名义测度的邻域（模糊集）内，最大化观测数据在某一测度下的概率。
• 模糊集通过Wasserstein距离或Kullback-Leibler散度定义，以确保对分布偏移的鲁棒性。
• 对于Wasserstein模糊集，通过引入运输变量和总变差与距离约束，将问题重述为有限凸规划。
• 解的支持集位于名义支持集与观测数据点的并集上，从而实现高效计算。
• 该方法利用凸对偶性和弱紧性，保证最优测度的存在性与收敛性。

实验结果

研究问题

• RQ1 我们能否构建一种非参数似然近似方法，使其在真实似然不可行时仍保持计算可处理性？
• RQ2 在不假设参数形式的前提下，如何确保似然估计对分布不确定性的鲁棒性？
• RQ3 使用此乐观似然近似时，后验推断的理论性能如何？
• RQ4 该方法能否在不同模糊集下重述为凸优化问题？
• RQ5 该方法在实际推断任务（如概率分类）中的表现如何？

主要发现

• 在Wasserstein模糊集下的乐观似然近似可重述为具有显式运输成本约束和质量保持约束的有限凸规划。
• 基于Wasserstein的最优测度支持集位于名义支持集与观测数据点的并集上，从而实现高效计算。
• 在KL散度基模糊集下，最优似然在温和正则性条件下也具有闭式解。
• 该方法为后验推断提供了强有力的理论性能保证，包括一致性及对模型误设的鲁棒性。
• 实证结果表明，在概率分类任务中表现具有竞争力，预测准确率优于基线无似然方法。
• 乐观对数似然问题的目标函数是上半连续的，确保在弱收敛下最优解的存在性。