[论文解读] Sarcasm SIGN: Interpreting Sarcasm with Sentiment Based Monolingual Machine Translation

Lotem Peled, Roi Reichart|arXiv (Cornell University)|Apr 22, 2017

Natural Language Processing Techniques参考文献 16被引用 9

一句话总结

本文提出 Sarcasm SIGN，一种新颖的单语机器翻译方法，通过将讽刺性推文中的情感词替换为其语义簇，再将这些簇解码为恰当的非讽刺对应表达，从而实现对讽刺性推文的解读。尽管自动指标得分相近，该方法在人类评估中于语义完整性和情感极性方面均优于基线机器翻译系统，证明其在捕捉讽刺背后真实情感方面的有效性。

ABSTRACT

Sarcasm is a form of speech in which speakers say the opposite of what they truly mean in order to convey a strong sentiment. In other words, "Sarcasm is the giant chasm between what I say, and the person who doesn't get it.". In this paper we present the novel task of sarcasm interpretation, defined as the generation of a non-sarcastic utterance conveying the same message as the original sarcastic one. We introduce a novel dataset of 3000 sarcastic tweets, each interpreted by five human judges. Addressing the task as monolingual machine translation (MT), we experiment with MT algorithms and evaluation measures. We then present SIGN: an MT based sarcasm interpretation algorithm that targets sentiment words, a defining element of textual sarcasm. We show that while the scores of n-gram based automatic measures are similar for all interpretation models, SIGN's interpretations are scored higher by humans for adequacy and sentiment polarity. We conclude with a discussion on future research directions for our new task.

研究动机与目标

• 为解决讽刺性话语的解读挑战，通过生成保留原始情感的非讽刺同义表达。
• 提出一项新任务——讽刺解读，定义为生成一个与讽刺表达含义相同的非讽刺话语。
• 构建一个大规模平行数据集，包含3000条讽刺性推文，每条推文配有五条人工标注的非讽刺性解读。
• 评估基于机器翻译的模型在讽刺解读任务中的表现，重点关注流畅性、语义完整性和情感极性。
• 设计并验证 SIGN，一种情感感知的机器翻译系统，通过基于簇的情感词替换提升解读质量。

提出的方法

• 该方法将讽刺解读任务建模为单语机器翻译，使用包含3000条讽刺性推文及每条对应五条非讽刺性解读的平行语料库。
• 利用 SentiWordNet 识别情感词，从训练数据中提取出情感极性明显（阈值为0.6）的正向和负向词汇。
• 使用 L2 距离的 k-means 聚类算法对正向和负向情感词进行聚类，目标为每簇约10个词（正向7簇，负向16簇）。
• 对输入的讽刺性推文和参考解读进行预处理，将情感词替换为其簇标识符（例如，'love' → 'cluster-i'）。
• 在经簇转换的平行数据上训练基于短语的机器翻译系统（Moses），以学习讽刺表达与非讽刺表达之间的映射关系。
• 在推理阶段，采用三种策略对 MT 输出进行去簇处理：基于质心的选择、基于上下文的 PMI 选择，以及基于人工的最优选择（oracle）。

实验结果

研究问题

• RQ1 单语机器翻译能否有效应用于讽刺解读这一新任务？
• RQ2 自动评估指标与人工判断在评估讽刺解读质量方面有何差异？
• RQ3 情感感知方法如 SIGN 是否能优于标准机器翻译系统，提升解读质量？
• RQ4 情感词簇在多大程度上提升了生成解读的流畅性、语义完整性和情感准确性？
• RQ5 不同去簇策略（质心、上下文、oracle）对最终解读质量有何影响？

主要发现

• 尽管自动指标（BLEU、ROUGE、PINC）在所有模型间得分相近，SIGN 在人类评估中于语义完整性和情感极性方面均优于基线模型。
• SIGN-oracle 在人类评估中达到最高的语义完整度（平均分 4.21/5.0）和情感极性（4.33/5.0），表明其与原意高度一致。
• 基于质心的去簇策略（SIGN-centroid）在人类评估中语义完整度得分为 4.01/5.0，情感极性得分为 4.12/5.0，优于标准 MT 基线。
• 基于上下文的去簇策略（SIGN-context）在人类评估中语义完整度得分为 4.05/5.0，情感极性得分为 4.15/5.0，表现出对局部上下文的鲁棒性。
• 本研究构建的 3000 条讽刺性推文及其五条人工标注解读的数据集已公开，可为未来讽刺解读研究提供支持。
• 本研究证实，自动指标不足以评估讽刺解读质量，因其无法区分人类感知中存在显著差异的模型。