[论文解读] Neural Likelihoods via Cumulative Distribution Functions

Pawel M. Chilinski, Ricardo Silva|arXiv (Cornell University)|Nov 2, 2018

Neural Networks and Applications参考文献 41被引用 7

一句话总结

本论文提出了单调神经密度估计器（MONDE），利用深度神经网络参数化单调的累积分布函数（CDF），通过前向传播实现直接的CDF评估，并借助自动微分实现可微分的密度估计。该方法在密度估计方面表现出具有竞争力的性能，同时能够高效计算尾部概率和低维边缘分布，提供了一个在单变量至高维设置下兼顾可扩展性与灵活性的统一框架。

ABSTRACT

We leverage neural networks as universal approximators of monotonic functions to build a parameterization of conditional cumulative distribution functions (CDFs). By the application of automatic differentiation with respect to response variables and then to parameters of this CDF representation, we are able to build black box CDF and density estimators. A suite of families is introduced as alternative constructions for the multivariate case. At one extreme, the simplest construction is a competitive density estimator against state-of-the-art deep learning methods, although it does not provide an easily computable representation of multivariate CDFs. At the other extreme, we have a flexible construction from which multivariate CDF evaluations and marginalizations can be obtained by a simple forward pass in a deep neural net, but where the computation of the likelihood scales exponentially with dimensionality. Alternatives in between the extremes are discussed. We evaluate the different representations empirically on a variety of tasks involving tail area probabilities, tail dependence and (partial) density estimation.

研究动机与目标

• 开发一种基于神经网络的多元累积分布函数（CDF）参数化方法，确保其单调性与可微分性。
• 实现在无需重新拟合模型的情况下，直接评估尾部区域概率和低维边缘分布。
• 通过单一神经网络架构，提供统一的框架，同时支持密度估计与基于CDF的推断。
• 在单变量、双变量及高维设置下，平衡计算效率与建模灵活性。
• 通过避免固定基分布和混合成分选择，解决现有归一化流与混合模型的局限性。

提出的方法

• 使用具有单调激活函数（如tanh）的深度神经网络参数化条件CDF，以确保响应变量的单调性。
• 利用自动微分，通过对方差变量求导，从CDF中计算条件概率密度函数（PDF）。
• 通过三种变体构建多元CDF：（1）恒定协方差，（2）参数化协方差，（3）联合x,y变换以实现完全灵活性。
• 使用随机梯度下降进行最大复合似然估计训练，利用反向传播实现端到端优化。
• 通过直接从CDF网络的前向传播中提取值，实现高效的边缘化与尾部概率计算。
• 提出PUMONDE（参数化无约束MONDE）架构，通过共享与独立的网络分支，联合建模协变量与响应变量。

实验结果

研究问题

• RQ1 神经网络能否被有效用于参数化单调的多元CDF，同时支持可微分的密度估计？
• RQ2 基于CDF的模型在密度估计任务中，与最先进的归一化流相比，性能优势或互补性有多大？
• RQ3 通过前向传播实现直接CDF评估，是否能提升尾部概率与边缘分布估计的准确性与效率？
• RQ4 不同CDF参数化策略下，计算成本与建模灵活性之间的权衡如何体现？
• RQ5 所提出方法是否能在无需显式建模假设的情况下，有效处理复杂依赖结构，如尾部依赖与互信息估计？

主要发现

• MONDE框架在与最先进的归一化流（如MAF）及混合密度网络（MDN）对比时，表现出了具有竞争力的似然性能，尤其在双变量似然任务中。
• 采用联合x,y变换的PUMONDE变体可通过单次前向传播实现精确的多元CDF评估与边缘化，但似然计算的复杂度随维度呈指数增长。
• 恒定协方差变体为高维数据提供了可扩展的替代方案，在某些场景下优于MDN与MAF，且保持了简单统一的架构。
• 在尾部依赖与互信息估计任务中，MONDE模型相比标准混合模型能更有效地捕捉复杂依赖结构。
• 该方法可在无需重新训练的情况下直接计算尾部区域概率与低维边缘分布，相较于需为每种边缘单独拟合的模型具有显著优势。
• 实证结果表明，采用参数化协方差的MONDE在密度估计与依赖建模任务中均表现强劲，尤其在低维设置下。