[论文解读] Neural Approximate Sufficient Statistics for Implicit Models

Yanzhi Chen, Dinghuai Zhang+3 more|ePrints Soton (University of Southampton)|Oct 20, 2020

Markov Chains and Monte Carlo Methods参考文献 59被引用 21

一句话总结

本文提出一种深度学习方法，通过神经网络在无需密度估计的情况下，利用互信息最大化，自动学习隐式生成模型中似然-free推断的近似充分统计量。该方法通过学习紧凑且信息丰富的表示，提升了传统ABC与现代神经似然方法的性能，增强了在多种数据类型下的准确性和鲁棒性。

ABSTRACT

We consider the fundamental problem of how to automatically construct summary statistics for implicit generative models where the evaluation of the likelihood function is intractable, but sampling data from the model is possible. The idea is to frame the task of constructing sufficient statistics as learning mutual information maximizing representations of the data with the help of deep neural networks. The infomax learning procedure does not need to estimate any density or density ratio. We apply our approach to both traditional approximate Bayesian computation and recent neural likelihood methods, boosting their performance on a range of tasks.

研究动机与目标

• 解决在似然不可计算的隐式模型中，设计低维、信息丰富的摘要统计量以实现似然-free推断的挑战。
• 通过深度学习自动化构建充分统计量，消除对专家设计或手工构造统计量的依赖。
• 提升基于近似贝叶斯计算（ABC）和神经密度估计（NDE）的似然-free推断方法的性能与鲁棒性。
• 通过信息论原理，建立表示学习与似然-free推断之间的理论联系。

提出的方法

• 将充分统计量学习建模为信息最大化问题，旨在保留数据与参数之间的最大互信息。
• 采用分布无关的互信息估计器或其代理方法（如MINE、InfoNCE），训练神经网络将原始数据映射为紧凑且信息丰富的表示。
• 将学习到的统计量集成到SMC-ABC与SNL框架中，形成SMC-ABC+与SNL+，实现后验分布与充分统计量的联合学习。
• 该方法避免了密度估计或密度比估计，仅依赖模拟数据与互信息优化。
• 网络架构端到端训练，支持后验估计与充分统计量学习之间的迭代优化。
• 该方法在i.i.d.、序列型及图结构数据上进行了评估，包括高斯拷贝与Ornstein-Uhlenbeck过程。

实验结果

研究问题

• RQ1 神经网络能否学习到优于手工设计摘要统计量的近似充分统计量，以提升似然-free推断性能？
• RQ2 通过深度学习实现的互信息最大化，是否能提升隐式模型中后验近似的鲁棒性与准确性？
• RQ3 所提出的方法能否同时提升传统ABC与现代神经似然方法的性能？
• RQ4 在高维或复杂数据设置下，学习到的统计量与专家设计的统计量相比表现如何？

主要发现

• 所提出的神经近似充分统计量显著提升了SMC-ABC与SNL的准确性和鲁棒性，降低了后验估计误差。
• 在高斯拷贝模型中，该方法性能优于SNL，且与SNPE相当，后验估计的变异性更低。
• 在Ornstein-Uhlenbeck过程中，学习到的统计量在真实后验与学习后验之间的JSD指标上，与专家设计的摘要统计量（均值、标准差、自相关）相当或更优。
• SMC-ABC+与SNL+的JSD分别降低至0.009±0.002与0.004±0.001（使用专家统计量），表明后验保真度极高。
• 该方法在i.i.d.、时间序列及图结构数据等多种数据类型上均表现出一致的性能提升。
• 在OU过程实验中，该方法优于SRE与SNPE，JSD更低且结果更稳定。