[论文解读] Unified Dual-view Cognitive Model for Interpretable Claim Verification

Lianwei Wu, Yuan Rao+3 more|arXiv (Cornell University)|May 20, 2021

Topic Modeling参考文献 29被引用 5

一句话总结

本文提出了一种统一的双重视角认知模型（CICD），用于可解释的声明验证，整合了集体认知与个体认知视角。该模型通过分层编码器-解码器模块生成全局证据，同时利用顶部-k 个多样化文章选择与交互机制，从个体认知视角提取局部关键证据片段。引入不一致损失以通过对齐全局与局部证据来抑制偏差，在三个基准数据集上显著提升了验证准确率与可解释性。

ABSTRACT

Recent studies constructing direct interactions between the claim and each single user response (a comment or a relevant article) to capture evidence have shown remarkable success in interpretable claim verification. Owing to different single responses convey different cognition of individual users (i.e., audiences), the captured evidence belongs to the perspective of individual cognition. However, individuals' cognition of social things is not always able to truly reflect the objective. There may be one-sided or biased semantics in their opinions on a claim. The captured evidence correspondingly contains some unobjective and biased evidence fragments, deteriorating task performance. In this paper, we propose a Dual-view model based on the views of Collective and Individual Cognition (CICD) for interpretable claim verification. From the view of the collective cognition, we not only capture the word-level semantics based on individual users, but also focus on sentence-level semantics (i.e., the overall responses) among all users and adjust the proportion between them to generate global evidence. From the view of individual cognition, we select the top-$k$ articles with high degree of difference and interact with the claim to explore the local key evidence fragments. To weaken the bias of individual cognition-view evidence, we devise inconsistent loss to suppress the divergence between global and local evidence for strengthening the consistent shared evidence between the both. Experiments on three benchmark datasets confirm that CICD achieves state-of-the-art performance.

研究动机与目标

• 为解决现有可解释声明验证模型仅依赖个体用户响应的局限性，此类模型可能引入认知偏差与非客观证据。
• 整合集体认知（捕捉所有响应的整体用户情感与全局语义）与个体认知，以提升证据质量。
• 开发一个统一框架，同时生成全局与局部证据，并确保二者之间的一致性，以减少误导性解释。
• 通过显式突出集体与个体视角之间共享的一致性证据片段，增强模型可解释性。
• 通过一种新颖的不一致损失机制，降低偏差或片面的个体响应对证据提取的影响。

提出的方法

• 设计基于集体认知视角的编码器-解码器模块（CED），以捕捉个体响应中的词级语义以及所有响应之间的句级语义，从而生成全局证据。
• CED 中的层次注意力解码器动态平衡个体与集体语义的贡献，生成连贯且全局一致的证据序列。
• 基于个体认知视角的选中交互模块（ISI）根据语义多样性选择最不相似的前-k 篇文章，并将其与声明交互，以提取局部关键证据片段。
• 模型采用一种新颖的不一致损失函数，惩罚全局与局部证据表示之间的差异，促进对齐并减少偏差。
• 通过端到端训练联合优化证据生成与验证过程，支持可解释的注意力图与显著性高亮。
• 模型在三个基准数据集（FEVER、SciFact 和 MultiFC）上进行评估，展现出强大的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 整合集体与个体认知视角是否能提升声明验证中证据的可靠性与可解释性？
• RQ2 如何有效生成聚合用户响应的全局证据，同时保持有意义的语义结构？
• RQ3 在多样的个体响应中，局部证据片段在多大程度上可被选择并组合，以增强验证性能？
• RQ4 一种惩罚全局与局部证据之间不一致性的损失函数，是否能减少偏差并提升模型鲁棒性？
• RQ5 统一的双重视角框架是否在准确率与可解释性方面均优于现有最先进模型？

主要发现

• CICD 在 FEVER 基准上达到最先进性能，相比流水线模型（NSMN 与 HAN）准确率提升 4.3% 至 11.0%。
• 在 FEVER 数据集上，CICD 相较于图神经网络模型（GEAR 与 KGAT），在开发集上准确率至少提升 1.8%，在测试集上至少提升 1.5%。
• 在 SciFact 数据集上，CICD 相较于先前最先进模型，F1 分数提升 1.2%，展现出跨领域的强大泛化能力。
• 在 MultiFC 数据集上，CICD 的 F1 分数比最强基线高出 0.9%，证实其在多源证据验证中的有效性。
• 案例研究证实，CICD 有效抑制了由个体认知捕获的误导性证据片段（如“此视频截图显示”），同时突出一致且显著的证据，如“截图是片面的”。
• 不一致损失有效减少了全局与局部证据之间的差异，从而带来更可靠、更具可解释性的验证结果。