[论文解读] Predicting the Quality of Short Narratives from Social Media

Tong Wang, Ping Chen+1 more|arXiv (Cornell University)|Jul 8, 2017

Topic Modeling参考文献 21被引用 7

一句话总结

本文提出了一种神经网络框架，通过将点赞数作为质量的代理指标，预测社交媒体中短篇叙事的质量。该框架引入了区域嵌入模型，以捕捉文本片段之间的相互依赖关系，在随机森林基线基础上实现了18.10%的均方误差相对降低，为自动叙事质量评估建立了强有力的基准。

ABSTRACT

An important and difficult challenge in building computational models for narratives is the automatic evaluation of narrative quality. Quality evaluation connects narrative understanding and generation as generation systems need to evaluate their own products. To circumvent difficulties in acquiring annotations, we employ upvotes in social media as an approximate measure for story quality. We collected 54,484 answers from a crowd-powered question-and-answer website, Quora, and then used active learning to build a classifier that labeled 28,320 answers as stories. To predict the number of upvotes without the use of social network features, we create neural networks that model textual regions and the interdependence among regions, which serve as strong benchmarks for future research. To our best knowledge, this is the first large-scale study for automatic evaluation of narrative quality.

研究动机与目标

• 为解决自动叙事质量评估的挑战，该挑战对叙事理解与生成系统均至关重要。
• 通过使用Quora上的点赞数作为故事质量的代理度量，规避人工标注的高昂成本。
• 构建一个包含28,320个类似故事的回答的大规模数据集，用于叙事质量评估。
• 开发能够捕捉短篇叙事中文本区域之间语义相互依赖关系的神经模型。
• 为未来在自动叙事质量预测领域的研究建立强有力的计算基线。

提出的方法

• 从Quora收集了54,484个回答，并使用主动学习将其中28,320个分类为类似故事的叙事。
• 提出使用循环单元（LSTM或RNN）在区域之间建模相互依赖关系的神经模型，以嵌入文本区域。
• 设计了整体阅读器模型，通过区域嵌入和循环机制处理整个故事；以及顺序阅读器模型，按顺序处理各个区域。
• 仅使用文本特征进行模型训练，排除社交网络特征，以确保纯粹基于计算的叙事理解。
• 使用均方误差（MSE）作为评估指标，并与随机森林基线进行比较。
• 应用梯度裁剪和隐藏状态的最大池化操作，以生成文档级别的表征。

实验结果

研究问题

• RQ1 在缺乏人工标注的情况下，社交媒体上的点赞数能否作为叙事质量的可靠代理？
• RQ2 神经网络如何有效建模短篇叙事中文本区域之间的相互依赖关系以预测质量？
• RQ3 不同神经架构（如RNN、LSTM，以及区域式与整体式阅读器）在预测叙事点赞数方面的相对表现如何？
• RQ4 问题和回答文本在预测叙事质量方面分别贡献了多少？
• RQ5 纯粹基于文本的模型能否在叙事质量预测中超越传统基线（如随机森林）？

主要发现

• 采用LSTM在区域之间实现循环连接的整体阅读器表现最佳，在均方误差上相比随机森林基线实现了18.10%的相对降低。
• 使用单门控RNN的顺序阅读器优于其LSTM对应模型，表明在叙事区域的序列建模中，更简单的门控机制可能更为有效。
• 包含问题文本显著提升了预测性能，当同时使用问题和答案时，整体模型实现了18.10%的误差降低。
• 当仅使用26个非文本特征时，整体模型的表现反而劣于随机森林基线，表明文本内容对准确预测至关重要。
• 不使用循环连接的区域嵌入模型相比随机森林基线仍实现了14.73%的相对性能提升，证明了对文本片段建模的价值。
• 表现最佳的模型（整体+LSTM）实现了0.4438的MSE，优于所有其他模型，包括强大的随机森林基线。