[论文解读] Pun Generation with Surprise

He He, Nanyun Peng+1 more|arXiv (Cornell University)|Apr 15, 2019

Humor Studies and Applications参考文献 29被引用 4

一句话总结

本文提出 SurGen，一种基于局部-全局意外性原理的无监督双关语生成方法，该方法通过对比双关词与其同音词在局部与全局语境中的意外性水平来实现。通过结合语言模型与词袋嵌入的检索-编辑框架，SurGen 在人类评估中实现了 31% 的成功率，是神经生成基线模型 9% 成功率的三倍，证明了无需大规模标注语料即可实现有效且新颖的双关语生成。

ABSTRACT

We tackle the problem of generating a pun sentence given a pair of homophones (e.g., "died" and "dyed"). Supervised text generation is inappropriate due to the lack of a large corpus of puns, and even if such a corpus existed, mimicry is at odds with generating novel content. In this paper, we propose an unsupervised approach to pun generation using a corpus of unhumorous text and what we call the local-global surprisal principle: we posit that in a pun sentence, there is a strong association between the pun word (e.g., "dyed") and the distant context, as well as a strong association between the alternative word (e.g., "died") and the immediate context. This contrast creates surprise and thus humor. We instantiate this principle for pun generation in two ways: (i) as a measure based on the ratio of probabilities under a language model, and (ii) a retrieve-and-edit approach based on words suggested by a skip-gram model. Human evaluation shows that our retrieve-and-edit approach generates puns successfully 31% of the time, tripling the success rate of a neural generation baseline.

研究动机与目标

• 为解决大规模双关语语料库的缺乏以及监督生成在创意内容方面的局限性。
• 开发一种无监督双关语生成方法，以生成新颖、幽默的句子，而非模仿现有数据。
• 形式化一种基于局部与全局语境中意外性对比的幽默原理。
• 通过融入惊喜与不一致的认知原则，超越神经序列模型，提升双关语生成效果。

提出的方法

• 提出局部-全局意外性原理：双关词在局部语境中具有意外性（在即时上下文中不寻常），但在全局语境中具有可预测性（由更广泛语境支持），而其替代词则表现出相反特性。
• 将意外性度量定义为给定局部与全局语境下双关词与替代词的对数似然比：$ S(c) = -\log \frac{p(w^p|c)}{p(w^a|c)} $。
• 实施检索-编辑框架：使用词袋嵌入从非幽默语料库中检索候选句子，再通过插入双关词进行编辑。
• 使用神经语言模型对生成句子进行评分与优化，以确保语法正确性与语言流畅性。
• 通过选择双关词在局部语境中意外但全局语境中合理的句子，将意外性原理具体化。
• 训练一个神经平滑模型，以提升生成双关语的流畅性与连贯性。

实验结果

研究问题

• RQ1 局部与全局语境之间的意外性对比是否可作为识别幽默双关语的可靠信号？
• RQ2 局部-全局意外性原理能否被有效实施，以在无需大规模标注训练数据的情况下生成新颖且富有创意的双关语？
• RQ3 基于该原理的检索-编辑方法是否在双关语质量与成功率方面优于端到端神经生成方法？
• RQ4 意外性度量与人类对双关语幽默感的判断之间相关性如何？
• RQ5 该方法能否生成语法正确且被人类认为有趣的双关语？

主要发现

• 局部-全局意外性度量与人类对双关语幽默感的评分具有强相关性，验证了其认知合理性。
• SurGen 的检索-编辑系统在人类评估中达到 31% 的成功率，是神经生成基线模型 9% 成功率的三倍。
• 人类评估者认为 SurGen 生成的双关语显著比神经基线模型生成的更有趣。
• 该方法通过制造意外性水平的对比成功生成双关语：双关词在局部语境中出人意料，但在全局语境中合理。
• 该方法在 150 组同音词对上均表现出泛化能力，且无需在双关语特定数据上进行微调，展现出鲁棒性。
• 本研究凸显了区分创造性新颖性与语言无意义之间的挑战，提示未来工作需更清晰地分离这两个概念。