[论文解读] Probing Causal Common Sense in Dialogue Response Generation.

Pei Zhou, Pegah Jandaghi+4 more|arXiv (Cornell University)|Apr 19, 2021

Topic Modeling被引用 4

一句话总结

本文提出 CEDAR，一项将对话常识形式化为响应因果解释的任务，并设计了一种探针框架，以评估响应生成模型是否能对这些解释进行逻辑推理。结果表明，模型在逻辑有效性方面表现不佳，但能轻松识别语法自然性。

ABSTRACT

Communication is a cooperative effort that requires reaching mutual understanding among the participants. Humans use commonsense reasoning implicitly to produce natural and logically-coherent responses. As a step towards fluid human-AI communication, we study if response generation (RG) models can emulate human reasoning process and use common sense to help produce better-quality responses. We aim to tackle two research questions: how to formalize conversational common sense and how to examine RG models capability to use common sense? We first propose a task, CEDAR: Causal common sEnse in DiAlogue Response generation, that concretizes common sense as textual explanations for what might lead to the response and evaluates RG models behavior by comparing the modeling loss given a valid explanation with an invalid one. Then we introduce a process that automatically generates such explanations and ask humans to verify them. Finally, we design two probing settings for RG models targeting two reasoning capabilities using verified explanations. We find that RG models have a hard time determining the logical validity of explanations but can identify grammatical naturalness of the explanation easily.

研究动机与目标

• 将对话常识形式化为对话响应的因果文本解释。
• 评估响应生成模型是否能对这些解释进行逻辑推理。
• 开发一种自动化方法，利用人工验证生成并验证解释。
• 设计探针设置，以测试生成模型在两种不同推理能力上的表现：逻辑有效性与语法自然性。
• 评估当前生成模型在多大程度上模拟了人类对话中的常识推理。

提出的方法

• 提出 CEDAR，一项将对话中的常识形式化为连接先前对话上下文与响应的因果解释的任务。
• 设计一种自动化流水线，为给定的对话-响应对生成候选解释。
• 使用人工标注验证生成解释的质量与有效性。
• 构建两种探针设置：一种测试模型对解释逻辑有效性的敏感度，另一种测试对语法自然性的敏感度。
• 通过比较有效与无效解释下的模型损失，衡量模型行为。
• 将有效与无效解释之间的损失差异作为逻辑推理能力的代理指标。

实验结果

研究问题

• RQ1 对话常识如何在响应生成中被正式表示为因果解释？
• RQ2 响应生成模型在多大程度上能检测因果解释的逻辑有效性？
• RQ3 生成模型能否区分语法自然与不自然的解释？
• RQ4 在探针设置中，当模型接收到有效与无效因果解释时，其损失有何不同？
• RQ5 当前生成模型在模拟人类常识推理方面存在哪些局限性？

主要发现

• 生成模型在判断因果解释的逻辑有效性方面表现出显著困难，表明其缺乏深层次的常识推理能力。
• 模型能轻易识别解释的语法自然性，表明其对表面流畅性的敏感度较高。
• 有效与无效解释之间的损失差异较小，暗示模型在逻辑层面的区分能力较弱。
• 经过人工验证的解释对于构建可靠的常识推理探针基准至关重要。
• 当前生成模型在生成响应时更注重流畅性与连贯性，而非逻辑一致性。
• 人类推理与模型行为之间的差距凸显了实现人类级对话理解的关键挑战。