[论文解读] VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives

Zhuofan Ying, Peter Hase+1 more|arXiv (Cornell University)|Jun 22, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

VisFIS 提出了一种新颖的视觉特征重要性监督框架，通过优化四个关键目标——充分性、不确定性、不变性和合理性——来提升视觉问答（VQA）模型的准确率和推理鲁棒性。该方法在分布内和分布外的 VQA 基准测试中均优于强基线模型，其性能提升源于忠实且合理的解释，而不仅仅是合理性本身。

ABSTRACT

Many past works aim to improve visual reasoning in models by supervising feature importance (estimated by model explanation techniques) with human annotations such as highlights of important image regions. However, recent work has shown that performance gains from feature importance (FI) supervision for Visual Question Answering (VQA) tasks persist even with random supervision, suggesting that these methods do not meaningfully align model FI with human FI. In this paper, we show that model FI supervision can meaningfully improve VQA model accuracy as well as performance on several Right-for-the-Right-Reason (RRR) metrics by optimizing for four key model objectives: (1) accurate predictions given limited but sufficient information (Sufficiency); (2) max-entropy predictions given no important information (Uncertainty); (3) invariance of predictions to changes in unimportant features (Invariance); and (4) alignment between model FI explanations and human FI explanations (Plausibility). Our best performing method, Visual Feature Importance Supervision (VisFIS), outperforms strong baselines on benchmark VQA datasets in terms of both in-distribution and out-of-distribution accuracy. While past work suggests that the mechanism for improved accuracy is through improved explanation plausibility, we show that this relationship depends crucially on explanation faithfulness (whether explanations truly represent the model's internal reasoning). Predictions are more accurate when explanations are plausible and faithful, and not when they are plausible but not faithful. Lastly, we show that, surprisingly, RRR metrics are not predictive of out-of-distribution model accuracy when controlling for a model's in-distribution accuracy, which calls into question the value of these metrics for evaluating model reasoning. All supporting code is available at https://github.com/zfying/visfis

研究动机与目标

• 解决先前 VQA 中特征重要性（FI）监督的局限性，即由于随机监督导致性能提升相似，难以与人类标注有意义对齐。
• 通过优化四个关键模型目标——充分性、不确定性、不变性和合理性——来提升模型准确率与推理鲁棒性。
• 探究‘正确原因正确’（RRR）指标是否能可靠预测分布外泛化性能。
• 考察在数据样本层面，解释的合理性与忠实性之间的相互作用如何影响模型准确率。
• 证明特征重要性监督主要通过忠实且合理的解释提升准确率，而非仅靠合理性本身。

提出的方法

• 提出一种多目标训练框架，联合优化以下四项：(1) 充分性——仅使用重要特征即可实现准确预测；(2) 不确定性——仅存在不重要特征时输出最大熵；(3) 不变性——在不重要特征发生扰动时保持预测稳定；(4) 合理性——模型生成的特征重要性与人类标注的一致性。
• 使用掩码图像区域（Replaced）的数据增强技术，在训练过程中模拟充分性与不确定性的场景。
• 采用基于梯度的解释方法（如 Grad-CAM）估计模型生成的特征重要性，并通过对比损失或 L2 损失惩罚与人类标注的偏差。
• 使用加权组合的四项目标进行模型训练，超参数经调优以平衡各项之间的权衡。
• 利用 CLEVR-XAI、VQA-HAT 和 GQA 数据集，在分布内与分布外设置下评估性能表现。
• 采用交叉验证与重采样方法，评估 RRR 指标在分布外泛化预测中的能力。

实验结果

研究问题

• RQ1 当监督信号具有实际意义而非随机时，特征重要性监督能否提升 VQA 模型的准确率？
• RQ2 充分性、不确定性、不变性和合理性四项目标在多大程度上共同提升模型性能与推理保真度？
• RQ3 仅提升解释的合理性是否足以带来更高准确率？还是忠实性同样不可或缺？
• RQ4 在控制分布内准确率的前提下，RRR 指标（如 RRR-Suff、RRR-Inv、RRR-Unc）是否能更可靠地预测分布外泛化性能？
• RQ5 在不同模型与数据样本配置下，合理性、忠实性与准确率之间的关系如何变化？

主要发现

• VisFIS 在 VQA-HAT 上达到最先进性能，分布内准确率为 52.79%，分布外准确率为 40.49%，优于强基线模型。
• 当使用随机监督时，该性能增益无法复现，证实 VisFIS 从人类标注的特征重要性中学习到了有意义的信号。
• 当解释既合理又忠实时，模型准确率显著提升，而仅具备合理性则不足以带来性能增益，凸显忠实性对可靠推理的必要性。
• RRR 指标（如 RRR-Suff、RRR-Inv、RRR-Unc）无法比仅使用分布内准确率更好地预测分布外准确率，对其作为泛化代理的实用性提出质疑。
• 即使平均合理性较低的模型仍可实现高准确率，因其在低合理性样本上保持了高忠实性；而高合理性模型在部分样本上因忠实性低而抵消了性能增益。
• 充分性+不确定性目标组合在充分性与全面性之间实现了最佳权衡，相比 Saliency-Guided Training 等先前方法，展现出更优的可解释性。