[论文解读] Unsupervised Neural Single-Document Summarization of Reviews via Learning Latent Discourse Structure and its Ranking

Masaru Isonuma, Junichiro Mori+1 more|arXiv (Cornell University)|Jun 13, 2019

Topic Modeling参考文献 42被引用 4

一句话总结

本文提出 StrSum，一种用于产品评论的无监督神经模型，通过在无外部解析器的情况下诱导潜在话语树，实现单文档摘要生成。通过递归地从子句重建父句，并利用 DiscourseRank 对关键句子进行优先排序，该模型生成的摘要质量高，能够对整篇评论进行抽象化处理，其性能优于无监督方法，并在长篇评论上与有监督模型相当或更优。

ABSTRACT

This paper focuses on the end-to-end abstractive summarization of a single product review without supervision. We assume that a review can be described as a discourse tree, in which the summary is the root, and the child sentences explain their parent in detail. By recursively estimating a parent from its children, our model learns the latent discourse tree without an external parser and generates a concise summary. We also introduce an architecture that ranks the importance of each sentence on the tree to support summary generation focusing on the main review point. The experimental results demonstrate that our model is competitive with or outperforms other unsupervised approaches. In particular, for relatively long reviews, it achieves a competitive or better performance than supervised models. The induced tree shows that the child sentences provide additional information about their parent, and the generated summary abstracts the entire review.

研究动机与目标

• 为解决在新领域中创建参考摘要的高昂成本问题。
• 实现在无人工标注摘要的情况下，对单个产品评论进行端到端的抽象化摘要生成。
• 将评论建模为潜在话语树，其中子句解释其父句，以实现分层抽象。
• 通过话语结构深度（DiscourseRank）对句子重要性进行排序，从而提升摘要质量。
• 在无监督条件下实现与有监督模型相当的性能，尤其在长篇评论上表现更优。

提出的方法

• StrSum 通过使用双向 GRU 编码器递归地从子句重建父句，并利用最大池化操作获取句子表征，端到端地诱导出潜在话语树。
• 模型通过重建损失学习语言模型，训练目标是根据子句生成父句。
• DiscourseRank 根据诱导树中后代节点的数量为句子分配重要性得分，突出中心节点。
• 摘要从诱导出的话语树根节点生成，该节点代表整篇评论的核心观点。
• 通过双向 GRU 和隐藏状态的最大池化计算句子嵌入，以捕捉上下文表征。
• 该架构避免使用外部话语解析器，而是通过重建过程直接从数据中学习话语结构。

实验结果

研究问题

• RQ1 无监督模型是否能在无外部解析的情况下，为单篇产品评论诱导出有意义的潜在话语结构？
• RQ2 通过从子句重建父句，是否能比现有无监督方法带来更好的抽象化摘要效果？
• RQ3 话语结构深度（通过 DiscourseRank 实现）是否能有效识别摘要生成所需的主要评论观点？
• RQ4 与有监督基线相比，该模型在长篇评论上的表现如何？
• RQ5 所诱导的话语树是否能揭示句子之间的连贯层级关系？

主要发现

• StrSum 在单文档评论摘要任务中优于其他无监督模型，尤其在长篇评论上表现更优。
• 对于长篇评论，StrSum 的性能与有监督模型相当或更优，展现出强大的泛化能力。
• 所诱导的话语树比有监督基线模型（如 StrAtt）更深、更复杂，平均高度更高（例如，玩具与游戏类别的平均高度为 3.06），表明其具有更丰富的分层结构。
• DiscourseRank 成功将评价性句子识别为高重要性节点，提升了对主要评论观点的关注度（例如，在护目镜评论中突出质量缺陷）。
• 在失败案例中，模型错误地优先考虑某些方面（例如，更重视视频画质而非音质差的问题），表明当对比性方面具有相似树深度时，模型存在局限性。
• 模型生成的摘要能够对整篇评论进行抽象化处理，子句为其父句提供解释性细节，验证了话语结构假设的合理性。