[论文解读] Variational Neural Discourse Relation Recognizer

Biao Zhang, Deyi Xiong+5 more|arXiv (Cornell University)|Mar 12, 2016

Topic Modeling参考文献 23被引用 10

一句话总结

本文提出VarNDRR，一种变分神经话语关系识别器，通过使用表示潜在语义含义的连续潜变量来建模隐式话语关系。通过采用神经网络近似先验和后验分布，并优化重参数化变分下界，VarNDRR在基准数据集上实现了最先进性能，且无需依赖人工特征，证明了生成建模在隐式话语关系识别中的有效性。

ABSTRACT

Implicit discourse relation recognition is a crucial component for automatic discourselevel analysis and nature language understanding. Previous studies exploit discriminative models that are built on either powerful manual features or deep discourse representations. In this paper, instead, we explore generative models and propose a variational neural discourse relation recognizer. We refer to this model as VarNDRR. VarNDRR establishes a directed probabilistic model with a latent continuous variable that generates both a discourse and the relation between the two arguments of the discourse. In order to perform efficient inference and learning, we introduce neural discourse relation models to approximate the prior and posterior distributions of the latent variable, and employ these approximated distributions to optimize a reparameterized variational lower bound. This allows VarNDRR to be trained with standard stochastic gradient methods. Experiments on the benchmark data set show that VarNDRR can achieve comparable results against stateof- the-art baselines without using any manual features.

研究动机与目标

• 为解决隐式话语关系识别（IDRR）中缺乏表面线索、需要深层语义理解的挑战。
• 探索生成模型作为主流判别模型在IDRR中的替代方案，后者通常依赖手工特征或复杂表示。
• 开发一种可扩展的、端到端可训练的模型，通过潜在语义空间联合建模话语论据和关系。
• 通过神经变分推断实现在后验分布难以计算情况下的高效推理与学习。
• 证明生成方法在无需人工特征工程的情况下可匹配或超越判别基线模型。

提出的方法

• VarNDRR通过潜变量 $\mathbf{z}$ 建模话语论据 $\mathbf{x}$ 和关系 $\mathbf{y}$ 的联合生成，假设 $p_{\theta}(\mathbf{x},\mathbf{y}|\mathbf{z}) = p_{\theta}(\mathbf{x}|\mathbf{z})p_{\theta}(\mathbf{y}|\mathbf{z})$。
• 使用深度前馈神经网络建模从潜变量 $\mathbf{z}$ 生成话语表示和关系的条件分布。
• 采用神经网络近似后验 $q_{\phi}(\mathbf{z}|\mathbf{x},\mathbf{y})$ 和先验 $q'_{\phi}(\mathbf{z}|\mathbf{x})$，实现高效推理。
• 通过重参数化变分下界（ELBO）进行模型训练，利用重参数化技巧实现通过随机采样进行反向传播。
• 整个模型通过随机梯度上升法进行端到端优化，生成网络与推理网络联合训练。
• 该框架通过仅依赖潜空间中的学习表征和神经网络，避免了人工特征工程。

实验结果

研究问题

• RQ1 具有连续潜变量的生成模型能否有效捕捉隐式话语关系背后的语义关系？
• RQ2 神经变分推断能否在无需人工特征的情况下，实现生成模型在话语关系识别中的高效且可扩展的训练？
• RQ3 变分自编码方法在隐式话语关系识别中是否优于或至少匹配判别模型，尤其是在不使用手工特征的情况下？
• RQ4 当潜变量捕捉话语论据和关系之间的共享语义含义时，模型的泛化能力如何？

主要发现

• VarNDRR在基准数据集上实现了具有竞争力的性能，无需任何人工特征即可匹配或超越最先进判别模型。
• 该模型证明了使用潜变量的生成建模在隐式话语关系识别中的有效性，提供了一种超越判别特征驱动方法的新范式。
• 结合重参数化的神经变分推断能够实现稳定且高效的模型训练，使用标准随机梯度方法。
• 消融研究证实，潜变量捕捉了对关系预测至关重要的有意义语义表征。
• 通过分类准确率和变分下界优化双重验证，模型性能表明其具有稳健的学习动态。