[论文解读] The Informed Sampler: A Discriminative Approach to Bayesian Inference in Computer Vision

Varun Jampani, Sebastian Nowozin+2 more|arXiv (Cornell University)|Feb 4, 2014

Generative Adversarial Networks and Image Synthesis被引用 1

一句话总结

该论文提出了 Informed Sampler，这是一种在计算机视觉中用于贝叶斯推断的判别式方法，它在生成模型框架内利用现有的计算机视觉方法作为提议分布。通过将判别式启发式方法整合到马尔可夫链蒙特卡洛采样器中，该方法显著提升了在复杂生成模型上的后验推断性能，特别是在涉及渲染引擎的逆图形任务中。

ABSTRACT

Computer vision is hard because of a large variability in lighting, shape, and texture; in addition the image signal is non-additive due to occlusion. Generative models promised to account for this variability by accurately modelling the image formation process as a function of latent variables with prior beliefs. Bayesian posterior inference could then, in principle, explain the observation. While intuitively appealing, generative models for computer vision have largely failed to deliver on that promise due to the difficulty of posterior inference. As a result the community has favoured efficient discriminative approaches. We still believe in the usefulness of generative models in computer vision, but argue that we need to leverage existing discriminative or even heuristic computer vision methods. We implement this idea in a principled way with an sampler and in careful experiments demonstrate it on challenging generative models which contain renderer programs as their components. We concentrate on the problem of inverting an existing graphics rendering engine, an approach that can be understood as Inverse Graphics. The informed sampler, using simple discriminative proposals based on existing computer vision technology, achieves significant improvements of inference.

研究动机与目标

• 解决传统生成模型在计算机视觉中因后验推断不可行而导致的失败问题。
• 弥合判别式效率与生成建模解释力之间的差距。
• 实现在包含渲染器组件的复杂生成模型中的有效贝叶斯推断。
• 证明可利用现有计算机视觉方法作为提议分布以改进后验采样。
• 在涉及渲染引擎的具有挑战性的逆图形问题上验证该方法的有效性。

提出的方法

• Informed Sampler 在马尔可夫链蒙特卡洛（MCMC）框架中使用判别式计算机视觉方法作为提议分布。
• 它将启发式或学习得到的视觉算法作为基于先验信息的提议，以引导在高维潜在空间中的采样。
• 该方法在概率生成模型中运行，其中似然由渲染程序定义。
• 通过减少后验探索中的随机游走行为，该采样器提高了收敛速度和准确性。
• 它使得在标准 MCMC 因提议质量差而失效的复杂模型中实现后验推断成为可能。
• 该方法在逆图形问题上进行了评估，目标是利用已知的渲染引擎从图像中推断场景参数。

实验结果

研究问题

• RQ1 判别式计算机视觉方法能否有效用于改进生成模型中的后验推断？
• RQ2 将启发式提议整合进来，对计算机视觉中贝叶斯推断的效率和准确性有何影响？
• RQ3 现有视觉算法在多大程度上可作为复杂生成模型中 MCMC 采样的有效提议？
• RQ4 Informed Sampler 是否在具有挑战性的逆图形任务上优于标准 MCMC 方法？
• RQ5 所提出的方法能否扩展到具有复杂渲染器组件的真实生成模型？

主要发现

• 与标准 MCMC 方法相比，Informed Sampler 在复杂生成模型上实现了显著提升的推断性能。
• 基于现有计算机视觉技术的判别式提议可实现更快的收敛速度和更准确的后验估计。
• 该方法在涉及渲染引擎的逆图形任务中显著提升了推断质量。
• 将启发式视觉方法整合到采样过程中可减少随机游走行为，并增强潜在空间的探索能力。
• 该方法成功实现了在传统方法因提议质量差而失效的模型中的贝叶斯推断。
• 实证结果证实，利用判别式先验可改进后验推断，且无需对生成模型进行微调。