[论文解读] SentimentArcs: A Novel Method for Self-Supervised Sentiment Analysis of Time Series Shows SOTA Transformers Can Struggle Finding Narrative Arcs

Jon Chun|arXiv (Cornell University)|Oct 18, 2021

Data Visualization and Analytics被引用 4

一句话总结

本文提出 SentimentArcs，一种用于长篇叙事文本时间序列情感分析的自监督方法，通过大规模多样化模型集合生成合成真实标签，并对所有语料-模型组合进行联合优化。研究发现，即使是最先进的 Transformer 模型在叙事文本上表现也欠佳，凸显了引入人工参与验证与全面模型选择以实现可靠情感分析的必要性，而不仅局限于狭窄基准测试。

ABSTRACT

SOTA Transformer and DNN short text sentiment classifiers report over 97% accuracy on narrow domains like IMDB movie reviews. Real-world performance is significantly lower because traditional models overfit benchmarks and generalize poorly to different or more open domain texts. This paper introduces SentimentArcs, a new self-supervised time series sentiment analysis methodology that addresses the two main limitations of traditional supervised sentiment analysis: limited labeled training datasets and poor generalization. A large ensemble of diverse models provides a synthetic ground truth for self-supervised learning. Novel metrics jointly optimize an exhaustive search across every possible corpus:model combination. The joint optimization over both the corpus and model solves the generalization problem. Simple visualizations exploit the temporal structure in narratives so domain experts can quickly spot trends, identify key features, and note anomalies over hundreds of arcs and millions of data points. To our knowledge, this is the first self-supervised method for time series sentiment analysis and the largest survey directly comparing real-world model performance on long-form narratives.

研究动机与目标

• 解决监督情感模型在长篇叙事文本上泛化能力差的问题，原因包括领域偏移和标注数据有限。
• 通过引入一种自监督框架，从多样化模型生成合成真实标签，克服狭窄基准性能的局限性。
• 通过可视化与联合语料-模型优化，实现可扩展的人工参与式叙事情感分析。
• 实证表明，最先进 Transformer 模型在长篇文本中无法有效捕捉叙事弧线，常表现不如简单模型。
• 提供一种系统化方法，利用新型联合指标在多样化语料中选择高性能模型。

提出的方法

• 使用由 36 种多样化情感模型（包括 BERT、RoBERTa、XGBoost 和朴素贝叶斯）组成的大型集合，为情感时间序列生成合成真实标签。
• 通过新型联合指标对所有可能的语料-模型组合进行详尽搜索，以同时优化语料特定性能与模型稳定性。
• 应用动态时间规整（DTW）层次聚类，根据情感轨迹相似性对叙事弧线进行分组。
• 生成情感弧线可视化，使专家能快速识别趋势、异常和关键叙事特征。
• 通过允许领域专家验证和解释结果，尤其在模糊或艺术性语言情况下，实现人工参与式验证。
• 时间序列处理流水线将长篇叙事转化为情感时间序列，支持对叙事弧线的时序分析。

实验结果

研究问题

• RQ1 自监督集成方法能否在长篇文学叙事的情感分析上超越最先进 Transformer 模型？
• RQ2 在开放领域、长篇文本中，SOTA Transformer 模型在检测叙事弧线方面与简单模型相比失败程度如何？
• RQ3 对语料-模型组合进行详尽联合优化，在提升情感分析泛化能力方面效果如何？
• RQ4 人工参与式可视化能否显著降低专家识别有意义叙事特征与异常情况所需的工作量？
• RQ5 何种指标最能捕捉情感模型在多样化叙事语料中的稳定性和性能？

主要发现

• 尽管最先进 Transformer 模型在 IMDB 等狭窄基准上准确率达 97.5%，但在长篇叙事文本中性能显著下降，与训练数据相比准确率最高下降 12%。
• SentimentArcs 框架通过联合优化 840 种语料-模型组合，实现了更优性能，超越了 RoBERTa 和 BERT 等单一模型在叙事弧线上的表现。
• 与原始模型输出相比，人工专家使用 SentimentArcs 可视化识别关键叙事特征与异常情况的速度快了 3 至 5 倍。
• 模型稳定性度量成功识别出在多样化语料中表现优异且一致的模型，揭示模型性能对语料特定特征高度敏感。
• DTW 层次聚类有效根据情感轨迹对叙事弧线进行分组，实现了跨小说中重复结构模式的发现。
• 研究发现，即使在短文本基准上表现优异的模型，也常因领域偏移与语言复杂性而无法泛化至长篇叙事文本。