[论文解读] Unsupervised Multi-Document Opinion Summarization as Copycat-Review Generation.

Arthur Bražinskas, Mirella Lapata+1 more|arXiv (Cornell University)|Nov 6, 2019

Topic Modeling参考文献 27被引用 11

一句话总结

该论文提出了一种基于分层变分自编码器的无监督抽象多文档观点摘要方法，通过最小化潜在空间中的新颖性，生成流畅且聚焦共识的摘要。在测试时强制将评论的潜在编码设为其均值，模型可生成反映共同意见的连贯摘要，且无需任何标注的摘要数据。

ABSTRACT

Opinion summarization is the task of automatically creating summaries that reflect subjective information expressed in multiple documents, such as product reviews. While the majority of previous work has focused on the extractive setting, i.e., selecting fragments from input reviews to produce a summary, we let the model generate novel sentences and hence produce abstractive summaries. Recent progress in summarization has seen the development of supervised models which rely on large quantities of document-summary pairs. Since such training data is expensive to acquire, we instead consider the unsupervised setting, in other words, we do not use any summaries in training. We define a generative model for a review collection which capitalizes on the intuition that when generating a new review given a set of other reviews of a product, we should be able to control the amount of going into the new review or, equivalently, vary the extent to which it deviates from the input. At test time, when generating summaries, we force the novelty to be minimal, and produce a text reflecting consensus opinions. We capture this intuition by defining a hierarchical variational autoencoder model. Both individual reviews and the products they correspond to are associated with stochastic latent codes, and the review generator (decoder) has direct access to the text of input reviews through the pointer-generator mechanism. Experiments on Amazon and Yelp datasets, show that setting at test time the review's latent code to its mean, allows the model to produce fluent and coherent summaries reflecting common opinions.

研究动机与目标

• 为解决多文档观点摘要中缺乏无监督抽象方法的问题，此类方法通常依赖昂贵的监督数据。
• 通过使用随机潜在编码对单个评论和所属产品进行建模，以捕捉文档间的共同意见。
• 通过利用可访问输入评论的指针-生成解码器，生成新颖的抽象摘要句子。
• 通过操控潜在编码来控制生成评论的新颖程度，确保测试时输出聚焦共识。
• 证明在测试时将潜在编码强制设为其均值，可生成流畅且连贯的摘要，反映普遍意见，且无需任何监督。

提出的方法

• 该模型采用分层变分自编码器（HVAE），对单个评论及其所属产品均使用随机潜在编码。
• 评论生成器（解码器）使用指针-生成机制来关注输入评论文本，从而能够复制或生成新词。
• 在测试时，将评论的潜在编码约束为其均值，以最小化新颖性并促进共识表示。
• 通过优化数据对数似然的变分下界，模型学习重建输入评论并生成新评论。
• 分层结构通过共享潜在变量，使模型能够捕捉每个评论和产品级别的情感模式。
• 训练过程无需任何摘要标注，因此完全无监督。

实验结果

研究问题

• RQ1 无监督生成模型是否能在不访问任何标注摘要的情况下，生成流畅且连贯的抽象观点摘要？
• RQ2 控制生成评论的潜在编码如何影响输出摘要的新颖性和共识一致性？
• RQ3 分层变分自编码器是否能在无监督设置下有效建模单个评论和产品级别的情感模式？
• RQ4 在测试时将评论的潜在编码强制设为其均值，是否能产生更连贯且以共识为导向的摘要？
• RQ5 该方法在亚马逊和Yelp产品评论等多样化领域中的泛化能力如何？

主要发现

• 该模型在无需任何标注摘要数据的情况下，生成了流畅且连贯的抽象摘要，证明了无监督抽象观点摘要的可行性。
• 在测试时将评论的潜在编码强制设为其均值，可生成反映输入评论间共同意见的摘要。
• 分层VAE结构通过共享潜在表示，成功捕捉了每个评论和产品级别的情感模式。
• 指针-生成机制通过允许模型根据需要从输入评论中复制或生成新短语，实现了有效的内容控制。
• 在亚马逊和Yelp数据集上的实验表明，该模型生成的摘要既流畅又真实反映了普遍意见。
• 由于模型通过无监督重建学习生成有意义的摘要，因此缺乏监督微调并未影响其性能。