[论文解读] Re-evaluating ADEM: A Deeper Look at Scoring Dialogue Responses

Ananya B. Sai, Mithun Das Gupta+2 more|arXiv (Cornell University)|Feb 23, 2019

Topic Modeling参考文献 30被引用 8

一句话总结

本文通过展示 ADEM（一种基于神经网络的自动对话回复评估器）对对抗性攻击的脆弱性，对其进行了批判性评估，即通过简单的文本扰动（如词序反转）即可操纵其评分。尽管声称与人类判断具有高度相关性，ADEM 的评分却呈现高度集中的分布（均值 ~2.75，标准差 ~0.34），显示出较差的区分能力，并容易被欺骗，这削弱了其在开放域对话系统中评估多样化、有效回复的可靠性。

ABSTRACT

Automatically evaluating the quality of dialogue responses for unstructured domains is a challenging problem. ADEM(Lowe et al. 2017) formulated the automatic evaluation of dialogue systems as a learning problem and showed that such a model was able to predict responses which correlate significantly with human judgements, both at utterance and system level. Their system was shown to have beaten word-overlap metrics such as BLEU with large margins. We start with the question of whether an adversary can game the ADEM model. We design a battery of targeted attacks at the neural network based ADEM evaluation system and show that automatic evaluation of dialogue systems still has a long way to go. ADEM can get confused with a variation as simple as reversing the word order in the text! We report experiments on several such adversarial scenarios that draw out counterintuitive scores on the dialogue responses. We take a systematic look at the scoring function proposed by ADEM and connect it to linear system theory to predict the shortcomings evident in the system. We also devise an attack that can fool such a system to rate a response generation system as favorable. Finally, we allude to future research directions of using the adversarial attacks to design a truly automated dialogue evaluation system.

研究动机与目标

• 调查 ADEM（一种基于神经网络的自动对话评估模型）在评分多样化、有效回复时的鲁棒性与可靠性。
• 识别 ADEM 评分机制中的设计缺陷，这些缺陷限制了其区分高质量与低质量回复的能力。
• 评估 ADEM 的评分是否在各种回复类型中与人类判断具有有意义的相关性。
• 开发并应用针对性的对抗性攻击，以操纵 ADEM 的评分，从而证明其对微小输入扰动的脆弱性。
• 为未来研究提供指导，推动设计更具鲁棒性、与人类判断相关且具备对抗鲁棒性的对话评估系统。

提出的方法

• 通过将 ADEM 的评分函数与线性系统理论关联，系统分析其评分函数，以识别内在的设计局限性。
• 使用引导反向传播进行白盒对抗性攻击，优化回复嵌入以达到目标评分（4.6–4.9）。
• 使用 Annoy 索引在 47 万个 Twitter 回复嵌入数据库中检索最近邻回复，以近似高分回复。
• 在整个嵌入数据库上执行暴力搜索，以确定给定语境下 ADEM 可实现的理论最高分。
• 通过直接评分和重排序两种方式，对 ADEM 的高分回复进行人工评估，以衡量其与人类判断的相关性。
• 分析 ADEM 在不同回复上的评分分布，发现其集中在均值 2.75 附近，标准差为 0.34。

实验结果

研究问题

• RQ1 像词序反转这样的简单、语义上有效的扰动，是否能显著改变 ADEM 对对话回复的评分？
• RQ2 ADEM 的评分分布在多大程度上反映了人类判断？其在多样化有效回复之间是否具备足够的区分能力？
• RQ3 ADEM 对于旨在通过操纵回复嵌入实现人为高分或低分的针对性对抗性攻击有多脆弱？
• RQ4 给定语境下，ADEM 的评分上限是多少？与人类评定的最高分回复质量相比如何？
• RQ5 对 ADEM 的对抗性攻击能否用于指导设计更鲁棒、与人类判断更相关且更具对抗韧性的对话评估系统？

主要发现

• ADEM 的评分分布极为狭窄，平均分为 2.75，标准差仅为 0.34，表明其在多样化回复之间区分能力极差。
• 在回复中进行简单的词序反转，导致 ADEM 产生与人类判断相悖且不合逻辑的评分，显示出对微小扰动的脆弱性。
• ADEM 最高分回复的人工平均评分为 1.9（满分 5 分），表明 ADEM 评分与人类对质量的感知之间存在显著脱节。
• 通过 Annoy 索引检索最近邻回复后，ADEM 的平均评分提高了 0.87，达到均值 3.62，表明模型决策边界存在可被利用的漏洞。
• 在整个嵌入数据库上执行暴力搜索后，平均分提升至 3.93，表明 ADEM 的理论最高分远高于典型回复所能达到的水平。
• 分析表明，ADEM 的乘法交互机制导致嵌入呈现高锥度性，这本质上限制了评分方差，从而削弱了其区分回复质量的能力。