[论文解读] On the challenges of learning with inference networks on sparse, high-dimensional data

Rahul G. Krishnan, Dawen Liang+1 more|arXiv (Cornell University)|Oct 17, 2017

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 30

一句话总结

本文识别出在稀疏、高维数据（尤其是具有深度推理网络的NFA）上训练变分自编码器（VAEs）时存在欠拟合问题，并提出通过迭代优化和改进的稀疏数据表示来缓解该问题。该方法在文本和推荐任务中显著提升了性能，优于CDAE和WMF等最先进基线模型。

ABSTRACT

We study parameter estimation in Nonlinear Factor Analysis (NFA) where the generative model is parameterized by a deep neural network. Recent work has focused on learning such models using inference (or recognition) networks; we identify a crucial problem when modeling large, sparse, high-dimensional datasets -- underfitting. We study the extent of underfitting, highlighting that its severity increases with the sparsity of the data. We propose methods to tackle it via iterative optimization inspired by stochastic variational inference \citep{hoffman2013stochastic} and improvements in the sparse data representation used for inference. The proposed techniques drastically improve the ability of these powerful models to fit sparse data, achieving state-of-the-art results on a benchmark text-count dataset and excellent results on the task of top-N recommendation.

研究动机与目标

• 探究为何标准VAE训练在文本和用户-物品交互等稀疏、高维数据上无法充分利用模型容量。
• 识别在稀疏数据上使用标准推理网络时，深度生成模型中欠拟合作为核心失效模式。
• 通过改进推理网络训练和数据表示，提升非线性因子分析（NFA）中的参数估计。
• 证明经过恰当训练的NFA模型可在Top-N推荐任务中超越线性基线模型（如WMF和SLIM）。
• 为在真实稀疏数据上训练强大深度生成模型提供一种实用且可扩展的解决方案，无需依赖强归纳偏置。

提出的方法

• 提出一种受随机变分推断（SVI）启发的迭代优化方案，用于在训练过程中精炼变分参数ψ(x)，从而改善后验近似。
• 引入一种改进的推理网络，使用TF-IDF或ℓ2归一化的稀疏特征代替原始的独热向量，以提升初始变分参数的质量。
• 采用两阶段训练流程：首先，使用改进的表示训练推理网络ψ(x)；其次，通过SVI风格更新迭代优化ψ(x)。
• 使用深度神经网络参数化条件似然p(x|z;θ)，其中多层感知机（MLP）后接Softmax以建模词或项目概率。
• 应用重参数化技巧，实现通过随机样本的反向传播，从而支持VAE目标的端到端训练。
• 使用证据下界（ELBO）进行模型训练，通过随机梯度下降优化生成参数θ和推理网络参数φ。

实验结果

研究问题

• RQ1 为何标准VAE训练在即使使用强大深度推理网络的情况下，仍无法拟合稀疏、高维数据？
• RQ2 数据稀疏性如何影响推理网络生成的变分参数ψ(x)的质量？其导致的欠拟合由何原因引起？
• RQ3 对变分参数进行迭代优化是否能提升稀疏数据上的模型性能？与标准的一次性推理网络训练相比表现如何？
• RQ4 改进推理网络的输入表示（如使用TF-IDF或ℓ2归一化）是否能带来更优的后验近似和更优的似然估计？
• RQ5 使用这些技术训练的深度NFA模型是否能在Top-N推荐任务中超越线性基线模型（如WMF和SLIM）？

主要发现

• 在稀疏数据上进行标准VAE训练会导致严重欠拟合，模型无法发挥其全部容量，甚至表现不如浅层线性模型（如WMF）。
• 所提出的迭代优化方案（ψ*）在所有指标上均表现更优，在Netflix数据集上达到NDCG@100为0.367，在ML-20M数据集上达到0.358，优于CDAE和SLIM。
• 使用TF-IDF或ℓ2归一化特征作为推理网络输入，相比原始独热输入，NDCG@100提升2–3个百分点。
• 迭代优化与改进数据表示的结合使NFA在基准文本计数数据集上达到最先进性能。
• 改进的训练方法缩小了ψ(x)与ψ*（最优变分参数）之间的差距，从而获得更紧的ELBO并提升泛化能力。
• 该方法计算效率高，尽管模型容量更高，但NFA（使用ψ*）的训练时间仅为SLIM的二至三倍。