[论文解读] Transformation Autoregressive Networks

Junier B. Oliva, Avinava Dubey+5 more|arXiv (Cornell University)|Jan 30, 2018

Anomaly Detection Techniques and Applications参考文献 31被引用 20

一句话总结

本文提出变换自回归网络（TANs），一种新颖的框架，通过联合利用非线性变量变换与自回归建模，提升对实值数据的密度估计性能。通过结合可逆变换（包括基于RNN的变换与线性变换）与灵活的自回归条件（LAM与RAM），TANs在多种数据集上实现最先进性能，显著优于仅使用自回归模型或归一化流的方法，在密度估计及异常检测、学习参数化分布族等下游任务中表现优异。

ABSTRACT

The fundamental task of general density estimation $p(x)$ has been of keen interest to machine learning. In this work, we attempt to systematically characterize methods for density estimation. Broadly speaking, most of the existing methods can be categorized into either using: extit{a}) autoregressive models to estimate the conditional factors of the chain rule, $p(x_{i}\, |\, x_{i-1}, \ldots)$; or extit{b}) non-linear transformations of variables of a simple base distribution. Based on the study of the characteristics of these categories, we propose multiple novel methods for each category. For example we proposed RNN based transformations to model non-Markovian dependencies. Further, through a comprehensive study over both real world and synthetic data, we show for that jointly leveraging transformations of variables and autoregressive conditional models, results in a considerable improvement in performance. We illustrate the use of our models in outlier detection and image modeling. Finally we introduce a novel data driven framework for learning a family of distributions.

研究动机与目标

• 解决现有密度估计方法仅依赖自回归建模或归一化流所带来的局限性。
• 通过联合利用变量变换与自回归条件，提升建模灵活性与可 tractable 学习能力。
• 为变换与条件建模模块开发新颖且高效的组件。
• 展示TANs在异常检测与学习参数化分布族等下游任务中的实用性。
• 提出一种数据驱动框架，无需访问底层参数即可学习分布族。

提出的方法

• 提出两种新型自回归模型：线性自回归模型（LAM）与循环自回归模型（RAM），用于估计条件密度。
• 引入新颖的可逆变换：可学习线性变换、直接作用于协变量的基于RNN的变换，以及加法型RNN变换。
• 使用变量变换公式与雅可比行列式，将密度从变换空间映射回原始空间。
• 采用共享的TAN模型并结合DeepSets的集合嵌入，联合建模参数族中的多个分布。
• 优化一种修改后的似然目标，使TAN基于每个数据集的嵌入进行条件化。
• 通过消融研究与验证，基于似然性能选择最优模型组件。

实验结果

研究问题

• RQ1 将自回归建模与非线性变量变换相结合，是否能实现优于单一方法的密度估计？
• RQ2 不同变换架构（如基于RNN的变换与线性变换）如何影响建模能力与性能？
• RQ3 TANs能否有效建模高维数据中的复杂非马尔可夫依赖关系？
• RQ4 在未访问真实参数的情况下，TANs能否泛化至参数族中的未见分布？
• RQ5 联合建模框架是否能提升异常检测等下游任务的性能？

主要发现

• TANs在多种真实世界与合成数据集上显著优于独立的自回归模型与归一化流方法。
• 消融研究显示，RAM与L RNN变换组合，以及LAM与L RNN+4xAdd+Re变换组合，实现了最佳的似然性能。
• 在三个基准数据集上，TANs在异常检测任务中达到最先进平均精度，表明其能有效学习低密度区域。
• 该模型成功从ShapeNet中未见类别生成逼真样本，表明其在参数族中对新分布具有强大泛化能力。
• 无需访问真实参数，该数据驱动框架即可实现对未见参数值的零样本生成。
• 消融研究揭示，非共享线性条件与基于RNN的变换在实践中有效，但此前被忽视。