[论文解读] Time to Take Emoji Seriously: They Vastly Improve Casual Conversational Models

Pieter Delobelle, Bettina Berendt|arXiv (Cornell University)|Oct 30, 2019

Natural Language Processing Techniques被引用 7

一句话总结

本文通过在分词过程中整合标准 Unicode 表情符号和自定义表情符号，提出增强基于 BERT 的对话模型。通过在高表情符号含量的问答数据集上微调 BERT，模型在 1/100 响应选择准确率上从 12.7% 提升至 17.8%，表明表情符号显著提升了非正式对话中的上下文理解能力。

ABSTRACT

Graphical emoji are ubiquitous in modern-day online conversations. So is a single thumbs-up emoji able to signify an agreement, without any words. We argue that the current state-of-the-art systems are ill-equipped to correctly interpret these emoji, especially in a conversational context. However, in a casual context, the benefits might be high: a better understanding of users' utterances and more natural, emoji-rich responses. With this in mind, we modify BERT to fully support emoji, both from the Unicode Standard and custom emoji. This modified BERT is then trained on a corpus of question-answer (QA) tuples with a high number of emoji, where we're able to increase the 1-of-100 accuracy from 12.7% for the current state-of-the-art to 17.8% for our model with emoji support.

研究动机与目标

• 为解决当前最先进对话模型中缺乏表情符号支持的问题，该问题阻碍了在非正式对话中对用户意图的准确理解。
• 探究将表情符号作为第一类标记整合是否能提升响应选择任务的性能。
• 开发一种分词与训练框架，支持标准 Unicode 表情符号和自定义表情符号，且不依赖 Unicode 描述。
• 使用高表情符号含量的数据集，评估表情符号感知建模对下游对话人工智能性能的影响。
• 证明表情符号携带有意义的上下文信号，当被正确编码时可提升模型性能。

提出的方法

• 扩展 BERT 分词器，将所有标准 Unicode 表情符号和自定义表情符号作为独立标记加入，确保其不会被子词分词。
• 在包含 600 个话语-响应对的精选数据集上微调 BERT，其中 8.75% 的话语包含表情符号。
• 采用端到端训练方式，使用掩码语言建模目标，将表情符号视为词汇表中的有效标记。
• 使用 1/100 准确率和每输入 100 个候选响应的平均排名来评估性能，负样本随机采样。
• 以多语言 BERT base 模型为基础架构，除词汇表扩展外，未对 Transformer 架构进行任何修改。
• 采用一致的分词方案，即使在表情符号序列中或带有修饰符时，也保持其作为单个标记的完整性。

实验结果

研究问题

• RQ1 将表情符号作为离散标记整合到 BERT 中，是否能提升在非正式对话中的响应选择性能？
• RQ2 在低资源、非正式对话场景中，表情符号在多大程度上有助于消除意图歧义？
• RQ3 当输入中不包含表情符号时，与包含表情符号时相比，表情符号支持对模型性能有何影响？
• RQ4 统一的分词方案能否同时处理标准 Unicode 表情符号和应用特定的自定义表情符号？
• RQ5 响应选择准确率的提升是由于对表情符号语义的更好对齐，还是由于模型容量的增加？

主要发现

• 表情符号增强的 BERT 模型在 1/100 准确率上达到 17.8%，相较于基线模型的 12.7% 提升了 5.1 个百分点。
• 正确响应的平均排名从 33 略降至 31，表明当输入中包含表情符号时，模型对正确响应的置信度更高。
• 性能提升主要源于输入中存在表情符号的情况，表明表情符号在这些情形下提供了有意义的上下文信号。
• 在无表情符号输入中，模型性能基本保持不变，表明表情符号支持不会降低在无表情符号输入上的表现。
• 模型成功处理了标准 Unicode 表情符号和自定义表情符号，因为分词方案独立于 Unicode 描述或外部标注。
• 结果表明表情符号并非仅用于装饰，而是承载语义和语用信息，当被正确编码时可提升响应选择性能。