[论文解读] On Contrastive Learning for Likelihood-free Inference

Conor Durkan, Iain Murray+1 more|arXiv (Cornell University)|Feb 10, 2020

Model Reduction and Neural Networks被引用 21

一句话总结

本文在通用对比学习框架下统一了两种主流的无似然推断方法——基于评分的比率估计（SRE）与基于归一化流的后验估计（SNPE-C），证明了当使用相同目标函数训练时，二者具有等价性。主要贡献在于揭示了两种方法均在优化相同的对比目标，从而实现直接比较并提供实用建议，其中SNPE-C在后验抽样方面具有优势，因其输出的是归一化的密度估计。

ABSTRACT

Likelihood-free methods perform parameter inference in stochastic simulator models where evaluating the likelihood is intractable but sampling synthetic data is possible. One class of methods for this likelihood-free problem uses a classifier to distinguish between pairs of parameter-observation samples generated using the simulator and pairs sampled from some reference distribution, which implicitly learns a density ratio proportional to the likelihood. Another popular class of methods fits a conditional distribution to the parameter posterior directly, and a particular recent variant allows for the use of flexible neural density estimators for this task. In this work, we show that both of these approaches can be unified under a general contrastive learning scheme, and clarify how they should be run and compared.

研究动机与目标

• 澄清两类主流无似然推断方法之间的关系：通过分类进行密度比率估计（SRE）与条件密度估计（SNPE-C）。
• 在单一对比学习框架下统一这两种方法，揭示其内在等价性。
• 为在后验抽样与模拟效率方面的实际应用提供指导建议。
• 识别无似然推断中的开放挑战，例如在紧凑支撑先验下SNPE-C的高拒绝率问题。

提出的方法

• 提出一个通用的对比学习框架，可将SRE与SNPE-C作为特例涵盖。
• 使用二分类目标来估计密度比率 $ r(\mathbf{x}, \bm{\theta}) = \frac{p(\mathbf{x}|\bm{\theta})}{p(\mathbf{x})} $，其与后验 $ p(\bm{\theta}|\mathbf{x}) $ 成比例。
• 将SNPE-C重新解释为一种对比学习设置，其中分类器被重参数化为条件密度估计器。
• 为两种方法使用共享的神经网络编码器，将 $(\mathbf{x}, \bm{\theta})$ 对映射到共享表示空间。
• 证明SRE可推广至多分类分类，从而提升训练稳定性和性能。
• 使用相同的训练代码库与目标函数，对SRE与SNPE-C进行直接比较，确保评估的公平性。

实验结果

研究问题

• RQ1 SRE与SNPE-C在本质上是否为不同方法，还是可统一于同一学习框架之下？
• RQ2 将分类器重参数化为条件密度估计器，是否显著影响无似然设定下的推断质量？
• RQ3 在实际应用中，i.i.d.抽样（SNPE-C）与MCMC（SRE）的抽样效率如何比较？
• RQ4 在无似然推断中，基于分类器的方法与基于密度估计器的方法之间存在哪些实际权衡？
• RQ5 在紧凑支撑先验下，SNPE-C的拒绝率表现如何，对后验抽样有何影响？

主要发现

• 当使用相同对比目标训练时，SRE与SNPE-C在数学上等价，二者均在优化相同的密度比率估计任务。
• 在相同目标与代码库下训练时，SNPE-C的性能与SRE相当，验证了理论统一的正确性。
• SNPE-C可通过其归一化密度输出实现高效的i.i.d.后验抽样，而SRE不具备此特性。
• 尽管性能相近，当先验具有紧凑支撑时，SNPE-C仍面临高拒绝率（例如约1%的接受率），导致i.i.d.抽样速度比MCMC慢达100倍。
• 在M/G/1任务中，SRE优于SNL，且在高维观测空间中具有优势，因其无需建模观测密度。
• 研究证实，当拒绝率过高时，MCMC抽样对SNPE-C仍具可行性，但若可行，i.i.d.抽样更优。