[论文解读] "Nice Try, Kiddo": Ad Hominems in Dialogue Systems.

Emily Sheng, Kai-Wei Chang+2 more|arXiv (Cornell University)|Oct 26, 2020

Hate Speech and Cyberbullying Detection参考文献 34被引用 4

一句话总结

本文识别并分类了在关于边缘化群体（#BlackLivesMatter、#MeToo）与其它话题（#Vegan、#WFH）的Twitter讨论中，人类与对话系统回复中的人身攻击。本文提出一种基于显著n-gram相似性的约束解码方法，以减少DialoGPT等模型生成人身攻击，表明训练数据构成与解码约束对减少有害回复具有显著影响。

ABSTRACT

Ad hominem attacks are those that attack some feature of a person's character instead of the position the person is maintaining. As a form of toxic and abusive language, ad hominems contain harmful language that could further amplify the skew of power inequality for marginalized populations. Since dialogue systems are designed to respond directly to user input, it is important to study ad hominems in these system responses. In this work, we propose categories of ad hominems that allow us to analyze human and dialogue system responses to Twitter posts. We specifically compare responses to Twitter posts about marginalized communities (#BlackLivesMatter, #MeToo) and other topics (#Vegan, #WFH). Furthermore, we propose a constrained decoding technique that uses salient $n$-gram similarity to apply soft constraints to top-$k$ sampling and can decrease the amount of ad hominems generated by dialogue systems. Our results indicate that 1) responses composed by both humans and DialoGPT contain more ad hominems for discussions around marginalized communities versus other topics, 2) different amounts of ad hominems in the training data can influence the likelihood of the model generating ad hominems, and 3) we can thus carefully choose training data and use constrained decoding techniques to decrease the amount of ad hominems generated by dialogue systems.

研究动机与目标

• 分析在涉及边缘化群体的讨论中，人类与模型生成回复中人身攻击的普遍性。
• 识别训练数据构成如何影响对话系统生成人身攻击的可能性。
• 开发一种基于n-gram相似性的约束解码技术，以减少对话系统中人身攻击的生成。
• 比较不同话题（尤其是涉及边缘化身份的话题）中人身攻击的频率。
• 评估通过top-k采样实现的软约束是否能有效抑制生成回复中的有害语言。

提出的方法

• 使用预定义的语言学与上下文标准，对人类与模型回复中的人身攻击进行分类。
• 收集并标注围绕#BlackLivesMatter、#MeToo、#Vegan与#WFH的Twitter帖子及其回复，以进行对比分析。
• 实现一种约束解码技术，基于输入的显著n-gram相似性，对top-k采样施加软约束。
• 利用n-gram相似性得分，对可能引发人身攻击的回复词元进行惩罚或抑制。
• 在不同人身攻击内容比例的精选训练数据上微调DialoGPT，以评估模型行为。
• 通过自动指标与人工评估相结合的方式，衡量人身攻击生成的减少程度。

实验结果

研究问题

• RQ1 与非边缘化话题相比，对话系统在涉及边缘化群体的讨论中是否生成更多人身攻击？
• RQ2 训练数据中人身攻击的比例如何影响模型生成此类攻击的倾向？
• RQ3 基于n-gram相似性的约束解码能否有效减少对话系统中人身攻击的生成？
• RQ4 人类在讨论边缘化群体时，是否比在讨论其他话题时更可能包含人身攻击？
• RQ5 通过数据筛选与解码约束，能在多大程度上引导模型行为，使其生成更少有害的回复？

主要发现

• 在讨论#BlackLivesMatter与#MeToo时，人类与DialoGPT的回复中人身攻击显著多于讨论#Vegan与#WFH时。
• 训练数据中人身攻击比例越高，模型生成类似攻击的可能性也越大。
• 所提出的约束解码方法通过基于显著n-gram相似性的软约束应用于top-k采样，有效减少了人身攻击的生成。
• 该方法在不损害回复流畅性或连贯性的前提下，有效抑制了有害语言。
• 模型行为对训练数据构成敏感，表明数据筛选可减轻有害输出。
• 人类与模型回复在涉及边缘化身份的讨论中均表现出系统性地生成更多人身攻击的倾向。