[论文解读] Noise Contrastive Meta-Learning for Conditional Density Estimation using Kernel Mean Embeddings

Jean-François Ton, Lucian Chan+2 more|arXiv (Cornell University)|Jun 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用 6

一句话总结

该论文提出 MetaCDE，一种用于条件密度估计的元学习框架，结合噪声对比估计与再生核希尔伯特空间中的核均值嵌入。通过学习输入和输出变量的神经特征映射，MetaCDE 有效捕捉了多模态和异方差性条件密度，在合成数据、纽约市出租车和 Ramachandran 图谱数据集上，尤其在低数据场景下，显著提升了对数似然性能。

ABSTRACT

Current meta-learning approaches focus on learning functional representations of relationships between variables, i.e. on estimating conditional expectations in regression. In many applications, however, we are faced with conditional distributions which cannot be meaningfully summarized using expectation only (due to e.g. multimodality). Hence, we consider the problem of conditional density estimation in the meta-learning setting. We introduce a novel technique for meta-learning which combines neural representation and noise-contrastive estimation with the established literature of conditional mean embeddings into reproducing kernel Hilbert spaces. The method is validated on synthetic and real-world problems, demonstrating the utility of sharing learned representations across multiple conditional density estimation tasks.

研究动机与目标

• 解决标准元学习方法仅关注条件期望的局限性，这些方法无法建模变量之间的多模态或异方差关系。
• 通过利用多个相关任务之间的共享表征，开发一种在低数据场景下实现有效条件密度估计的方法。
• 将条件均值嵌入（此前仅用于条件期望估计）的适用性扩展至完整的密度估计，方法是结合噪声对比估计。
• 建模复杂且非基于期望的关系，如分子二面角和出租车下车站点模式，标准回归方法在此类场景下失效。
• 证明通过元学习学习到的神经特征映射可有效表征高变异性、低样本条件下的条件密度结构。

提出的方法

• 该方法使用核均值嵌入（KME）在再生核希尔伯特空间（RKHS）中表示条件分布，实现条件密度的非参数估计。
• 应用噪声对比估计（NCE）以区分真实数据对与噪声生成样本，将 $y$ 给定 $x$ 的 KME 作为二分类设置中的特征。
• 训练神经网络以学习定义 KME 的特征映射 $\phi_x$ 和 $\phi_y$，从而实现密度估计的端到端优化。
• 元学习框架在多个小数据集上进行训练，每个任务包含用于表征学习的上下文集和用于评估的目标集，确保对未见小数据集的泛化能力。
• 通过学习一个分类器来区分真实与噪声生成的 $(x,y)$ 对，利用 $y$ 给定 $x$ 的 KME 作为输入，来估计条件密度 $p(y|x)$。
• 采用元优化目标来更新神经特征映射 $\phi_x^\theta$、$\phi_y^\theta$ 和偏置项 $b_\theta$，以在所有任务上最大化 NCE 目标。

实验结果

研究问题

• RQ1 在每个任务仅有少量数据可用时，元学习框架能否有效估计复杂且多模态的条件密度？
• RQ2 噪声对比估计能否与核均值嵌入有效结合，以实现可微、可扩展的条件密度估计？
• RQ3 为输入和输出学习共享的神经特征映射，是否能相比标准方法，在低数据条件密度估计中提升泛化能力？
• RQ4 所提出的方法能否捕捉真实世界数据（如出租车下车站点和分子二面角）中的多模态结构，而标准回归方法在此类场景下失效？
• RQ5 该方法对分布偏移是否具有鲁棒性，并能泛化至未见过的输入位置或分子片段？

主要发现

• 在具有多模态条件分布的合成数据上，MetaCDE 在保留对数似然性能上显著优于标准密度估计方法。
• 在纽约市出租车数据集上，MetaCDE 在 50 个未见的上车站点上对数似然性能优于所有基线方法，且通过单侧 Wilcoxon 检验确认了统计显著性提升。
• 在分子结构的 Ramachandran 图谱上，MetaCDE 有效捕捉了典型的双峰结构（两条平行线），而其他方法未能同时建模两个模式。
• 该方法在 1D 和 2D 问题上表现出稳健性能，即使每个任务仅有 50 个训练样本，标准密度估计器也因多模态性而失效。
• 消融研究证实，元学习、NCE 和核均值嵌入的组合对性能至关重要，各组件均对提升密度估计有贡献。
• 该方法在出租车和分子数据中对未见输入位置均表现出强泛化能力，表明在任务间有效传递了统计强度。