[论文解读] Revisiting maximum-a-posteriori estimation in log-concave models: from differential geometry to decision theory

Marcelo Pereyra|arXiv (Cornell University)|Dec 19, 2016

Statistical Methods and Inference被引用 2

一句话总结

本文通过利用微分几何定义一个规范损失函数——即由负后验密度诱导的Bregman散度——为对数凹变型贝叶斯模型中的最大后验估计（MAP）提供了决策理论基础。它证明了MAP最小化该规范损失，而后验均值最小化其对偶损失，从而解决了MAP在贝叶斯决策理论中长期存在的理论模糊性问题。

ABSTRACT

Maximum-a-posteriori (MAP) estimation is the main Bayesian estimation methodology in imaging sciences, where high dimensionality is often addressed by using Bayesian models that are log-concave and whose posterior mode can be computed efficiently by convex optimisation. Despite its success and wide adoption, MAP estimation is not theoretically well understood yet. The prevalent view in the community is that MAP estimation is not proper Bayesian estimation in a decision-theoretic sense because it does not minimise a meaningful expected loss function (unlike the minimum mean squared error (MMSE) estimator that minimises the mean squared loss). This paper addresses this theoretical gap by presenting a decision-theoretic derivation of MAP estimation in Bayesian models that are log-concave. A main novelty is that our analysis is based on differential geometry, and proceeds as follows. First, we use the underlying convex geometry of the Bayesian model to induce a Riemannian geometry on the parameter space. We then use differential geometry to identify the so-called natural or canonical loss function to perform Bayesian point estimation in that Riemannian manifold. For log-concave models, this canonical loss is the Bregman divergence associated with the negative log posterior density. We then show that the MAP estimator is the only Bayesian estimator that minimises the expected canonical loss, and that the posterior mean or MMSE estimator minimises the dual canonical loss. We also study the question of MAP and MSSE estimation performance in large scales and establish a universal bound on the expected canonical error as a function of dimension, offering new insights into the good performance observed in convex problems. These results provide a new understanding of MAP and MMSE estimation in log-concave settings, and of the multiple roles that convex geometry plays in imaging problems.

研究动机与目标

• 解决贝叶斯统计中MAP估计的理论模糊性，特别是其在决策理论框架中被认为缺乏正当性的问题。
• 利用源自凸几何的黎曼几何，为对数凹变型模型中的贝叶斯点估计识别一个原则性损失函数。
• 证明在对数凹变型模型中，MAP估计最小化由负后验密度导出的规范损失函数。
• 通过规范损失的期望误差的通用上界，比较高维设置下MAP与MMSE估计器的性能。
• 通过将凸几何与参数空间的几何结构联系起来，阐明其在成像问题中的双重作用。

提出的方法

• 利用对数凹变型贝叶斯模型中固有的凸几何，在参数空间上诱导一种黎曼几何。
• 将规范损失函数定义为黎曼流形上的Bregman散度，其对应于负后验密度。
• 证明在贝叶斯决策理论意义上，MAP估计器是该规范损失函数的唯一最小化者。
• 推导对偶规范损失函数，并证明后验均值（MMSE估计器）最小化该对偶损失。
• 建立MAP估计器的期望规范误差的通用上界，其为参数空间维度的函数，且对所有对数凹变型模型均成立。
• 使用微分几取证具分析高维设置下估计误差的行为。

实验结果

研究问题

• RQ1 能否在对数凹变型模型的决策理论框架中正式证明MAP估计的合理性？
• RQ2 在几何贝叶斯设定中，使MAP估计最优的规范损失函数是什么？
• RQ3 在对数凹变型模型中，MAP估计的性能如何随维度变化？
• RQ4 在最小化对偶损失函数的意义上，MAP估计器与后验均值之间存在何种关系？
• RQ5 凸几何如何影响参数空间的结构以及由此产生的估计理论？

主要发现

• 在对数凹变型模型中，MAP估计器是唯一最小化规范损失函数（即负后验密度的Bregman散度）的贝叶斯点估计器。
• 后验均值（MMSE估计器）最小化对偶规范损失函数，从而在该几何框架中确立了MAP与MMSE估计器之间的对偶性。
• 推导出MAP估计器的期望规范误差的通用上界，其依赖于参数空间的维度，且对所有对数凹变型模型均成立。
• 规范损失函数自然源于对数凹变型模型凸结构所诱导的黎曼几何，为MAP提供了几何上的合理性解释。
• 分析表明，凸几何不仅支撑了高维成像问题中MAP估计的计算可处理性，也支撑了其理论正当性。
• 结果通过证明在正确决策理论损失下，MAP估计是一种适当的贝叶斯程序，从而弥合了长期存在的理论空白。