[论文解读] Two Causal Principles for Improving Visual Dialog

Jiaxin Qi, Yulei Niu+2 more|arXiv (Cornell University)|Nov 24, 2019

Multimodal Machine Learning Applications参考文献 6被引用 9

一句话总结

本文提出了两种与模型无关的因果原则，显著提升了视觉对话（VisDial）性能：（1）从对话历史 H 直接输入到答案模型 A 的路径中移除，以消除捷径偏差；（2）考虑一个未观测到的混淆因子——用户偏好，该因子导致虚假相关性。应用这些原则后，基线模型性能跃升至当前最先进水平，在 VisDial v1.0 上达到 74.91% 的 NDCG，超越此前最先进方法超过 10 个百分点。

ABSTRACT

This paper unravels the design tricks adopted by us, the champion team MReaL-BDAI, for Visual Dialog Challenge 2019: two causal principles for improving Visual Dialog (VisDial). By "improving", we mean that they can promote almost every existing VisDial model to the state-of-the-art performance on the leader-board. Such a major improvement is only due to our careful inspection on the causality behind the model and data, finding that the community has overlooked two causalities in VisDial. Intuitively, Principle 1 suggests: we should remove the direct input of the dialog history to the answer model, otherwise a harmful shortcut bias will be introduced; Principle 2 says: there is an unobserved confounder for history, question, and answer, leading to spurious correlations from training data. In particular, to remove the confounder suggested in Principle 2, we propose several causal intervention algorithms, which make the training fundamentally different from the traditional likelihood estimation. Note that the two principles are model-agnostic, so they are applicable in any VisDial model. The code is available at https://github.com/simpleshinobu/visdial-principles.

研究动机与目标

• 识别并纠正现有 VisDial 模型中被忽视的因果缺陷，这些缺陷阻碍了模型性能的提升。
• 解决标准架构中直接从历史对话到答案连接所引入的有害捷径偏差。
• 建模并减轻未观测混淆因子——特别是用户偏好——对 VisDial 训练信号的扭曲影响。
• 开发与模型无关的干预方法，无需修改网络结构即可提升任意 VisDial 模型的性能。
• 证明因果推理而非单纯统计相关性，对构建鲁棒视觉对话系统至关重要。

提出的方法

• 原则 1（P1）移除从对话历史 H 到答案 A 的直接因果路径，防止模型记忆答案长度或词匹配的捷径。
• 原则 2（P2）引入一个未观测的混淆因子 U（用户偏好），该因子同时影响问题 Q 和答案 A，并通过因果干预建模，以减少虚假相关性。
• 设计因果干预算法，基于混淆因子结构重新加权训练数据，超越标准似然估计方法。
• 将这些方法作为即插即用模块应用于现有 VisDial 模型，实现与模型无关且广泛适用。
• 框架使用因果图可视化并验证虚假路径的移除以及混淆因子感知结构的添加。
• 实验使用官方 VisDial v1.0 test-std 数据集和在线评估服务器，验证性能提升。

实验结果

研究问题

• RQ1 为何现有 VisDial 模型在排行榜上表现优异，却仍无法泛化？
• RQ2 数据生成与模型设计中的哪些因果缺陷导致了 VisDial 中的捷径学习？
• RQ3 未观测到的混淆因子——用户偏好——如何在 VisDial 训练中引入虚假相关性？
• RQ4 与模型无关的因果干预是否能提升多种 VisDial 架构的性能？
• RQ5 因果原则在多大程度上减少了视觉对话系统中的词匹配与答案长度偏差？

主要发现

• 将两种因果原则（P1 和 P2）应用于基线模型后，VisDial v1.0 上的 NDCG 从约 64.47% 提升至 74.91%，显著超越此前最先进水平。
• 移除 H→A 路径（P1）后，模型在 top-10 预测中与历史对话的词匹配次数减少约 10%，从约 5,200 例降至约 4,800 例。
• 当正确答案为 'no' 时，'yes' 的平均排名从基线的 4.82 上升至使用 P1 后的 6.63，表明对历史词汇的偏差减少。
• 采用 P2 的模型能更好地将语义相似答案（如 'yes, he is'、'yes he is'）与真实答案 'yes' 一同排在靠前位置，从而提升 NDCG，促进合理替代答案的生成。
• 即使仅使用单模型实现 P1+P2，NDCG 也达到 71.60%，优于同一测试集上此前最先进方法的集成模型（72.80%）。
• 2019 年视觉对话挑战赛中表现最佳的模型（75.13% NDCG）采用了与本文方法类似的密集微调策略，验证了所提原则的实际影响力。