[论文解读] Self-Segregating and Coordinated-Segregating Transformer for Focused Deep Multi-Modular Network for Visual Question Answering

Chiranjib Sur|arXiv (Cornell University)|Jun 25, 2020

Multimodal Machine Learning Applications参考文献 25被引用 7

一句话总结

本文提出了一种新颖的自分割与协同分割注意力机制Transformer（SST-CST）架构，用于视觉问答（VQA）任务，通过智能地过滤和优先处理相关视觉与语言特征，增强注意力机制。通过引入基于内容的分割策略——语言特征的自分割与图像特征的协同分割，该模型减少了注意力污染，提升了推理多样性，并在VQA-v2基准上实现了最先进性能，准确率相比先前方法最高提升2.5%。

ABSTRACT

Attention mechanism has gained huge popularity due to its effectiveness in achieving high accuracy in different domains. But attention is opportunistic and is not justified by the content or usability of the content. Transformer like structure creates all/any possible attention(s). We define segregating strategies that can prioritize the contents for the applications for enhancement of performance. We defined two strategies: Self-Segregating Transformer (SST) and Coordinated-Segregating Transformer (CST) and used it to solve visual question answering application. Self-segregation strategy for attention contributes in better understanding and filtering the information that can be most helpful for answering the question and create diversity of visual-reasoning for attention. This work can easily be used in many other applications that involve repetition and multiple frames of features and would reduce the commonality of the attentions to a great extent. Visual Question Answering (VQA) requires understanding and coordination of both images and textual interpretations. Experiments demonstrate that segregation strategies for cascaded multi-head transformer attention outperforms many previous works and achieved considerable improvement for VQA-v2 dataset benchmark.

研究动机与目标

• 解决标准Transformer对无差别注意力的过度依赖问题，该问题导致多模态VQA中特征冗余与污染。
• 通过分割策略识别并优先处理最相关的图像与语言特征，提升视觉推理能力。
• 降低在多帧与多头注意力设置中无关或重叠特征对深层注意力机制的影响。
• 通过引入结构化、内容驱动的注意力机制，提升在VQA-v2上的性能，优于标准注意力与编码注意力基线模型。
• 为涉及重复或密集特征表示的多模态任务中的特征选择提供可泛化的框架。

提出的方法

• 提出自分割Transformer（SST），对语言嵌入应用基于内容的注意力分割，以识别并优先处理语义相关的特征。
• 引入协同分割Transformer（CST），通过独立的嵌入式分割头（ESeT）与协同分割头（CSeT），在图像区域与语言标记之间实施联合分割。
• 采用两阶段注意力机制：首先通过ESeT（基于嵌入的分割）或CSeT（协同分割）对特征进行分割，随后进行融合以支持推理。
• 使用区域图像特征的加权平均（记为$\overline{\text{Image}}$）作为比完整图像编码（$enc(\text{Image})$）更有效的表示，以更好地对齐单个区域。
• 在深层Transformer编码器的中间层应用分割操作，实现高价值特征在融合前的选择性传播。
• 在VQA-v2与Visual Genome数据集上端到端训练模型，以[22]提出的Transformer基线模型的改进版本作为基础架构。

实验结果

研究问题

• RQ1 基于内容的注意力特征分割是否能提升视觉问答中的推理性能？
• RQ2 语言特征的自分割与语言-图像特征之间的协同分割在准确率与鲁棒性方面表现如何？
• RQ3 在注意力计算前对特征进行分割是否能减少注意力污染并提升特征表示质量？
• RQ4 分割策略能否在不损害可扩展性或泛化能力的前提下，有效集成到深层多头注意力Transformer中？
• RQ5 特征表示的选择（如$\overline{\text{Image}}$与$enc(\text{Image})$）如何影响分割效果与下游性能？

主要发现

• 采用$\overline{\text{Image}}$作为图像表示的自分割Transformer（SST）在VQA-v2验证集上达到66.72%的top-1准确率，优于基线模型。
• 采用CSeT（协同分割）的协同分割Transformer（CST）也达到66.72%的准确率，表明协同特征分割优于ESeT（基于嵌入的分割）。
• 使用$\overline{\text{Image}}$作为图像表示显著优于$enc(\text{Image})$，因其与区域特征对齐更好，且特征空间定义更优。
• 所提出的分割策略有效降低了注意力污染，提升了推理多样性，在VQA-v2测试-开发集上相比基线模型准确率提升2.5%。
• 该模型在VQA-v2上实现了最先进性能，验证集准确率为66.72%，测试-开发集准确率同样为66.72%，在相同代码基线下超越了先前方法。
• 消融实验确认，基于分割的推理优于传统基于编码的视觉推理，后者受特征邻近性与表示质量差的制约。