[论文解读] Right for the Right Concept: Revising Neuro-Symbolic Concepts by Interacting with their Explanations

Wolfgang Stammer, Patrick Schramowski+1 more|arXiv (Cornell University)|Nov 25, 2020

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出神经符号解释性交互学习（NeSy XIL），一种通过在对象层面与符号化、组合式解释互动，而非依赖视觉注意力图，来修正神经符号概念学习器的方法。在一项新型混淆数据集（CLEVR-Hans）上，实验证明语义反馈（如'永远不要关注颜色'）能有效消除灰色立方体等混淆因素，使模型的鲁棒性和准确率超越基于视觉解释的方法。

ABSTRACT

Most explanation methods in deep learning map importance estimates for a model's prediction back to the original input space. These "visual" explanations are often insufficient, as the model's actual concept remains elusive. Moreover, without insights into the model's semantic concept, it is difficult -- if not impossible -- to intervene on the model's behavior via its explanations, called Explanatory Interactive Learning. Consequently, we propose to intervene on a Neuro-Symbolic scene representation, which allows one to revise the model on the semantic level, e.g. "never focus on the color to make your decision". We compiled a novel confounded visual scene data set, the CLEVR-Hans data set, capturing complex compositions of different objects. The results of our experiments on CLEVR-Hans demonstrate that our semantic explanations, i.e. compositional explanations at a per-object level, can identify confounders that are not identifiable using "visual" explanations only. More importantly, feedback on this semantic level makes it possible to revise the model from focusing on these factors.

研究动机与目标

• 解决视觉解释在识别深度学习模型中混淆因素方面的局限性。
• 使人类用户不仅能从输入层面，也能从语义概念层面纠正模型。
• 开发一种支持使用符号反馈进行交互式模型行为修正的神经符号框架。
• 创建一个新的基准数据集（CLEVR-Hans），包含不可分离的混淆因子，以测试模型的鲁棒性。
• 证明在符号层面的全局反馈规则可有效纠正神经符号模型中的'聪明汉斯'行为。

提出的方法

• 提出一种结合槽注意力（Slot Attention）与集合变换器（Set Transformer）的神经符号概念学习器，实现端到端可微的以对象为中心的表征学习。
• 引入一种新型损失函数，惩罚模型对错误符号解释的依赖，尤其是对颜色等混淆属性的依赖。
• 利用对错误解释的符号注释引导优化过程，使模型从'因错误原因而正确'转变为'因正确原因而正确'。
• 通过暴露每个对象的符号化、逐对象解释，实现在视觉和概念层面的解释性交互学习（XIL）。
• 支持全局反馈规则（如'永远不要关注灰色'），这些规则可泛化至多个实例，提升模型泛化能力。
• 使用符号抽象层，使人类与机器在概念层面而非原始输入特征层面进行交互。

Figure 1 : Neuro-Symbolic explanations are needed to revise deep learning models from focusing on irrelevant features via global feedback rules.

实验结果

研究问题

• RQ1 符号化、组合式解释能否识别标准视觉解释方法无法察觉的混淆因子？
• RQ2 在符号层面的全局反馈规则是否能有效纠正模型行为而无需从头开始重新训练？
• RQ3 通过符号解释修正神经符号模型是否能提升在混淆数据上的鲁棒性和准确率？
• RQ4 神经符号模型能否通过交互式修正避免依赖虚假相关性（如物体颜色）？
• RQ5 与基于视觉解释的反馈相比，符号反馈在纠正'聪明汉斯'行为方面表现如何？

主要发现

• 在 CLEVR-Hans3 数据集上，与默认的 NeSy 模型相比，NeSy XIL 将符号解释中的相对 L1 误差降低了 73%。
• 对于类别 1，当应用忽略灰色颜色的全局反馈规则时，测试准确率显著提升，证明了对混淆行为的有效纠正。
• 当提供真实符号表征时，模型达到了近乎完美的测试准确率，证实了符号修正机制的有效性。
• 使用符号损失和 RRR（基于强化学习的正则化规则）损失，即使在用户反馈为负面的情况下，也能实现稳健优化。
• 该方法成功消除了所有类别中对混淆因子（灰色立方体）的依赖，证明符号反馈可实现纠正的泛化。
• 结果表明，符号解释对于识别和纠正视觉解释无法检测到的混淆因子至关重要。

Figure 2 : Visual Explanations for ColorMNIST. (Left) the general data distribution between train and test split. (Right) a typical visual explanation of a CNN. Notice digit pixels are considered as important for the wrong prediction.