[论文解读] TraDE: Transformers for Density Estimation

Rasool Fakoor, Pratik Chaudhari+2 more|arXiv (Cornell University)|Apr 6, 2020

Generative Adversarial Networks and Image Synthesis参考文献 70被引用 13

一句话总结

TraDE 引入了一种基于自注意力机制的自回归密度估计器，采用 Transformer 架构处理连续和离散数据，通过惩罚最大似然训练以提升样本质量和鲁棒性。其在表格数据和图像基准测试中实现了最先进水平的对数似然性能，并在生成、分布外检测和噪声鲁棒性等下游任务中优于归一化流和基于 RNN 的模型。

ABSTRACT

We present TraDE, a self-attention-based architecture for auto-regressive density estimation with continuous and discrete valued data. Our model is trained using a penalized maximum likelihood objective, which ensures that samples from the density estimate resemble the training data distribution. The use of self-attention means that the model need not retain conditional sufficient statistics during the auto-regressive process beyond what is needed for each covariate. On standard tabular and image data benchmarks, TraDE produces significantly better density estimates than existing approaches such as normalizing flow estimators and recurrent auto-regressive models. However log-likelihood on held-out data only partially reflects how useful these estimates are in real-world applications. In order to systematically evaluate density estimators, we present a suite of tasks such as regression using generated samples, out-of-distribution detection, and robustness to noise in the training data and demonstrate that TraDE works well in these scenarios.

研究动机与目标

• 开发一种灵活且可扩展的自回归密度估计器，能够处理连续和离散数据，且无需满足可逆性约束。
• 通过在真实世界下游任务中的评估，提升样本质量和泛化能力，超越仅依赖对数似然的指标。
• 证明自注意力机制在密度估计中具有优势，尤其在捕捉长距离依赖关系方面。
• 系统性地评估密度估计器在对数似然之外的表现，包括回归、分布外检测和噪声鲁棒性基准。

提出的方法

• TraDE 使用带有自注意力机制的 Transformer 架构，以自回归方式建模条件密度，按顺序处理特征。
• 采用基于 RNN 的输入嵌入来表示先前生成变量的历史，实现有效的上下文建模。
• 通过惩罚最大似然目标函数进行训练，以提升泛化能力并防止过拟合。
• 自注意力机制使模型能够关注相关的历史变量，而无需存储高维充分统计量，这与 RNN 不同。
• 该架构避免了对可逆流或雅可比行列式计算的需求，因此相比归一化流具有更高的灵活性。
• 通过输出头中适当的条件分布参数化，支持连续和离散数据。

实验结果

研究问题

• RQ1 基于 Transformer 的架构能否在连续和离散数据的自回归密度估计中实现最先进性能？
• RQ2 TraDE 的密度估计在真实世界下游任务（如回归和分布外检测）中的表现如何？
• RQ3 与现有方法相比，TraDE 在噪声训练数据下的鲁棒性如何？
• RQ4 自注意力机制在自回归密度估计中建模长距离依赖关系方面是否优于 RNN？
• RQ5 对数似然与下游应用的实际效用之间的相关性有多高？

主要发现

• 在 HEPMASS 数据集上，TraDE 的测试对数似然为 -11.98 nats，优于 NSF（-14.51）和基于 RNN 的模型。
• 在使用生成样本进行回归时，TraDE 在 HEPMASS 上的均方误差（MSE）为 0.780，接近真实数据的 0.773，而标准 Transformer 的得分则为 1.37。
• 区分真实数据与生成数据的两样本检验准确率为 51±1%（TraDE），显著低于标准 Transformer 的 88±15%，表明生成样本质量更高。
• 在分布外检测任务中，TraDE 在 Pendigits 上的平均精度为 0.98，ForestCover 上为 0.95，Satimage-2 上为 1.0，优于 NADE、NICE 和 TAN。
• 在含 10% 噪声的训练数据上，TraDE 保持了 -12.43 nats 的对数似然，尽管在干净数据上性能更高，但其鲁棒性与 NSF 相当。
• 消融实验表明，自注意力与基于 RNN 的输入嵌入的结合是 TraDE 性能的关键，其消融实验显示出下游任务准确率的显著下降。