[论文解读] Set Prediction without Imposing Structure as Conditional Density Estimation

David W. Zhang, Gertjan J. Burghouts+1 more|arXiv (Cornell University)|Oct 8, 2020

Gaussian Processes and Bayesian Inference参考文献 35被引用 6

一句话总结

本文提出深度能量模型集合预测（DESP），将集合预测建模为使用深度能量模型的条件密度估计，避免了基于分配的集合损失所带来的结构偏差。通过负对数似然训练并结合随机预测采样，DESP 能够学习多模态分布，并生成多样化、合理的集合预测，在模糊和多模态任务上优于先前方法，同时在标准基准测试中保持竞争力。

ABSTRACT

Set prediction is about learning to predict a collection of unordered variables with unknown interrelations. Training such models with set losses imposes the structure of a metric space over sets. We focus on stochastic and underdefined cases, where an incorrectly chosen loss function leads to implausible predictions. Example tasks include conditional point-cloud reconstruction and predicting future states of molecules. In this paper, we propose an alternative to training via set losses by viewing learning as conditional density estimation. Our learning framework fits deep energy-based models and approximates the intractable likelihood with gradient-guided sampling. Furthermore, we propose a stochastically augmented prediction algorithm that enables multiple predictions, reflecting the possible variations in the target set. We empirically demonstrate on a variety of datasets the capability to learn multi-modal densities and produce different plausible predictions. Our approach is competitive with previous set prediction models on standard benchmarks. More importantly, it extends the family of addressable tasks beyond those that have unambiguous predictions.

研究动机与目标

• 为解决在随机或未明确定义的集合预测任务中，基于分配的集合损失所引入的人工度量结构以及无法捕捉多模态分布的局限性。
• 实现对无序集合上复杂、多模态条件密度的学习，尤其在存在多个合理预测结果的情境下。
• 开发一种可泛化的框架，支持多种深度能量模型架构，而无需进行任务特定的损失工程设计。
• 将集合预测的适用范围扩展至非明确任务，例如子集异常检测，其中存在多种有效的解释。
• 在标准基准测试中实现具有竞争力的性能，同时通过梯度引导采样和能量模型实现随机、多样化的预测。

提出的方法

• 使用深度能量模型将集合预测建模为条件密度估计，其中条件概率定义为 $ P_{\bm{\theta}}({\bm{Y}}|{\bm{x}}) = \frac{1}{Z({\bm{x}};{\bm{\theta}})} \exp(-E_{\bm{\theta}}({\bm{x}},{\bm{Y}})) $。
• 通过负对数似然（NLL）进行模型训练，以避免集合损失的结构假设，利用梯度引导采样近似处理不可计算的归一化常数 $ Z({\bm{x}};{\bm{\theta}}) $ 的梯度。
• 采用随机增强的预测算法，从能量模型中多次采样以生成多样化、合理的预测结果，反映不确定性与多模态特性。
• 将排列不变神经网络适配为能量函数，确保集合中元素顺序的不变性。
• 在训练过程中使用梯度引导采样以近似不可计算的 NLL 梯度，提升优化稳定性与收敛性。
• 将该框架应用于确定性和随机集合预测任务，包括 3D 重建、目标检测和子集异常检测。

实验结果

研究问题

• RQ1 通过深度能量模型进行条件密度估计，是否能有效学习无序集合上的多模态分布，而无需引入人工度量结构？
• RQ2 随机预测采样在具有多个合理结果的集合预测任务中，如何提升性能？
• RQ3 所提出的框架是否能在不同深度能量模型架构和集合预测任务（包括目标模糊或未明确定义的任务）中实现泛化？
• RQ4 在涉及多模态或随机预测的场景中，通过负对数似然训练是否优于基于分配的集合损失？
• RQ5 该框架是否能够解决新任务（如子集异常检测），其中对内点和外点存在多种有效解释？

主要发现

• DESP 在标准基准测试中表现具有竞争力，在 CLEVR 对象集合预测任务上达到 96.2±0.5 的 AP50，且在 IoU 阈值范围内表现更一致，优于先前方法。
• 在子集异常检测任务中，DESP 达到 F1 分数 0.76，显著优于依赖元素级概率且忽略依赖关系的基线方法（F1 = 0.63）。
• 该框架在合成数据上成功学习并生成多个合理的预测结果，证明其能够对集合上的多模态分布进行建模。
• DESP 在不同深度能量模型架构间具有泛化能力，并且无需任务特定的损失工程设计即可保持强大性能。
• 随机增强的预测算法在生成多样化、高质量预测方面优于标准梯度下降，尤其在模糊或多模态设置中表现更优。
• 通过负对数似然训练避免了基于分配损失中观察到的权衡（例如紧凑性与细粒度重建之间的权衡），从而在未明确定义的问题中实现更鲁棒的学习。