[论文解读] Partially Exchangeable Networks and Architectures for Learning Summary Statistics in Approximate Bayesian Computation

Samuel Wiqvist, Pierre Alexandre Mattei+2 more|IT University Of Copenhagen (IT University of Copenhagen)|Jan 29, 2019

Gaussian Processes and Bayesian Inference被引用 14

一句话总结

本文提出部分可交换网络（PENs），一种深度学习架构，利用概率对称性——具体而言是在马尔可夫过程和可交换数据中的块切换不变性——自动学习近似贝叶斯计算（ABC）的有信息性汇总统计量。PENs 在显著减少训练数据需求的前提下，实现了比多层感知机（MLPs）和DeepSets高10至100倍的数据效率，且在时间序列和静态模型中均展现出更优的后验推断精度。

ABSTRACT

We present a novel family of deep neural architectures, named partially exchangeable networks (PENs) that leverage probabilistic symmetries. By design, PENs are invariant to block-switch transformations, which characterize the partial exchangeability properties of conditionally Markovian processes. Moreover, we show that any block-switch invariant function has a PEN-like representation. The DeepSets architecture is a special case of PEN and we can therefore also target fully exchangeable data. We employ PENs to learn summary statistics in approximate Bayesian computation (ABC). When comparing PENs to previous deep learning methods for learning summary statistics, our results are highly competitive, both considering time series and static models. Indeed, PENs provide more reliable posterior samples even when using less training data.

研究动机与目标

• 为解决近似贝叶斯计算（ABC）中构建有信息性、数据驱动的汇总统计量的挑战，其中人工挑选的汇总统计量虽常见但非最优。
• 开发一种神经架构，显式编码时间序列数据中的部分可交换性与马尔可夫结构，以提升ABC推断性能。
• 通过设计一种内在尊重概率对称性的模型，减少对大规模训练数据集的依赖，从而提升数据效率。
• 通过使深度学习方法能够有效处理动态、马尔可夫性及非马尔可夫性时间序列，拓展其在ABC中的适用范围，超越独立同分布（i.i.d.）数据。
• 证明PENs在低数据环境下优于现有深度学习方法，尤其在数据稀缺条件下表现更优。

提出的方法

• 提出一种新颖的神经架构——部分可交换网络（PENs），其设计对块切换变换保持不变，此类变换刻画了条件马尔可夫过程中部分可交换性的特征。
• 通过分层架构构建PENs，其中每个模块处理输入的一个片段，最终表示对模块排列保持不变，从而确保对称性感知的特征学习。
• 证明任意块切换不变函数均可表示为类似PENs的结构，确立PENs在该类对称性下的架构完备性。
• 通过训练神经网络将原始数据映射为低维、有信息量的汇总统计量，将PENs应用于ABC中学习汇总统计量，以保留参数识别信息。
• 使用ABC拒绝采样并结合参考表，比较不同汇总统计量方法（包括PENs、MLPs和DeepSets）的后验近似结果。
• 在ABC接受过程中采用马氏距离与均匀核函数，通过距离的x百分位数设定ABC阈值，以确保计算预算的一致性。

实验结果

研究问题

• RQ1 能否设计一种深度神经网络架构，显式编码马尔可夫时间序列数据中的部分可交换性，以提升ABC推断性能？
• RQ2 在学习ABC汇总统计量时，PENs相较于标准MLPs和DeepSets的数据效率如何？
• RQ3 尽管底层模型不满足马尔可夫性，PENs是否能在非马尔可夫时间序列数据（如MA(2)过程）上实现泛化？
• RQ4 在训练数据有限的情况下，PEN架构在ABC中相较于现有深度学习方法的性能优势有多大？
• RQ5 PEN架构是否为DeepSets的推广？其是否在保持相同不变性特性的同时，扩展至动态数据？

主要发现

• PENs在时间序列和静态模型中均实现了与MLPs和DeepSets相当或更优的后验推断精度。
• 与MLPs相比，PENs将所需训练数据量减少了10至100倍，展现出显著提升的数据效率。
• 在AR(2)模型中，PEN-10即使在MLPs参数量更多的情况下仍表现更优，表明PENs能更有效地学习对称性。
• 对于非马尔可夫的MA(2)模型，PEN-10仍保持优异性能，表明其对严格马尔可夫假设的违反具有鲁棒性。
• PEN-0（PENs的特例）恰好对应DeepSets架构，证实PENs是DeepSets向部分可交换数据的推广。
• 在数据稀缺条件下，PENs与MLPs之间的性能差距进一步扩大，PENs在MLPs出现过拟合时仍能保持精度，尤其在参数量受限时表现更优。