[论文解读] Not All Neuro-Symbolic Concepts Are Created Equal: Analysis and Mitigation of Reasoning Shortcuts

Emanuele Marconato, Stefano Teso+2 more|arXiv (Cornell University)|May 31, 2023

Neural Networks and Applications被引用 4

一句话总结

本文识别并形式化了神经符号（NeSy）模型中的推理捷径（RSs）——即模型通过利用学习概念中非预期的语义而非遵循预期的符号知识，从而实现高准确率。本文揭示了RSs的四个根本原因，并提出了监督与无监督的缓解策略，实证表明即使在大规模、无偏见的数据集中，RSs依然存在，从而损害了模型的可解释性与可信度。

ABSTRACT

Neuro-Symbolic (NeSy) predictive models hold the promise of improved compliance with given constraints, systematic generalization, and interpretability, as they allow to infer labels that are consistent with some prior knowledge by reasoning over high-level concepts extracted from sub-symbolic inputs. It was recently shown that NeSy predictors are affected by reasoning shortcuts: they can attain high accuracy but by leveraging concepts with unintended semantics, thus coming short of their promised advantages. Yet, a systematic characterization of reasoning shortcuts and of potential mitigation strategies is missing. This work fills this gap by characterizing them as unintended optima of the learning objective and identifying four key conditions behind their occurrence. Based on this, we derive several natural mitigation strategies, and analyze their efficacy both theoretically and empirically. Our analysis shows reasoning shortcuts are difficult to deal with, casting doubts on the trustworthiness and interpretability of existing NeSy solutions.

研究动机与目标

• 将神经符号（NeSy）模型中的推理捷径（RSs）正式定义为在满足逻辑约束的前提下，最大化准确率但违反预期符号语义的解。
• 识别并分析促成RSs的四个关键因素：数据分布、先验知识结构、学习目标和神经概念提取器架构。
• 在多个NeSy基准上评估各种缓解策略（监督与无监督）的有效性。
• 实证表明，即使在大规模、无偏见的数据集中，RSs依然出现，挑战了现有NeSy解决方案的可靠性。
• 指出当前无监督缓解方法的局限性，以及缺乏一种普遍有效的缓解方案。

提出的方法

• 将RSs形式化为在满足逻辑约束的前提下，最大化准确率但违反预期符号语义的解。
• 将RSs描述为学习目标与概念预期语义之间不匹配的结果，尤其当目标未与符号正确性对齐时。
• 提出四种缓解策略：(1) 概念正则化（r），(2) 概念监督（c），(3) 基于启发式的方法对齐概念（h），(4) 多任务学习（mtl），每种策略针对不同的根本原因。
• 在四个NeSy数据集（XOR、MNIST-EvenOdd、MNIST-Multiplication、BDD-OIA）上实现并评估这些策略，使用多种NeSy架构（DPL、SL、LTN）。
• 使用标签级别和概念级别的混淆矩阵，评估模型是否学习了正确的概念语义，还是陷入RSs。
• 应用多任务学习（mtl）联合训练加法与乘法任务，以检验联合优化是否通过强制一致的概念学习来缓解RSs。

实验结果

研究问题

• RQ1 在何种正式条件下，推理捷径（RSs）会在神经符号模型中出现？
• RQ2 先验知识结构、数据分布、学习目标与神经架构如何共同促成RS的形成？
• RQ3 监督与无监督缓解策略在多大程度上可以减少或消除NeSy模型中的RSs？
• RQ4 RSs是否即使在大规模、无偏见的数据集中依然存在？若存在，对模型可信度与可解释性有何影响？
• RQ5 是否存在一种普遍有效的缓解策略，还是不同模型与任务需要定制化解决方案？

主要发现

• 推理捷径是一种普遍现象，影响多种最先进的NeSy预测器，包括DPL、SL与LTN，即使在数据量大且无偏见的情况下亦然。
• 在无缓解措施下，所有测试的NeSy模型在XOR与MNIST任务中均未能学习正确的概念语义，转而依赖仅利用部分数字（如3个数字）或概念错位的RSs。
• 监督策略如概念监督（c）与多任务学习（mtl）显著减少了RSs：mtl在MNIST-AddMul中成功恢复了对角线混淆矩阵，表明实现了正确的概念学习。
• 无监督策略如正则化（r）与启发式对齐（h）通常无法完全消除RSs，模型仍学习次优或错误的概念语义。
• r与h的结合有时可提升性能，但不能保证消除RSs，且在某些情况下模型仍选择次优捷径。
• 即使在缓解措施下，SL与LTN等模型在某些配置下仍会陷入RSs，表明当前缓解方法脆弱且非普遍有效。