[论文解读] Semantic Correspondence with Transformers.

Seokju Cho, Sunghwan Hong+4 more|arXiv (Cornell University)|Jun 4, 2021

Advanced Neural Network Applications被引用 8

一句话总结

本文提出了一种基于Transformer的新型网络——基于Transformer的成本聚合（CATs），用于密集语义对应，通过自注意力机制建模全局上下文，提升对大范围外观和几何变化的鲁棒性。通过整合外观亲和力建模、多层级特征聚合、互换自注意力机制以及残差连接，CATs在复杂形变下的对应精度和泛化能力方面优于以往的基于CNN的方法和手工设计的方法。

ABSTRACT

We propose a novel cost aggregation network, called Cost Aggregation with Transformers (CATs), to find dense correspondences between semantically similar images with additional challenges posed by large intra-class appearance and geometric variations. Compared to previous hand-crafted or CNN-based methods addressing the cost aggregation stage, which either lack robustness to severe deformations or inherit the limitation of CNNs that fail to discriminate incorrect matches due to limited receptive fields, CATs explore global consensus among initial correlation map with the help of some architectural designs that allow us to exploit full potential of self-attention mechanism. Specifically, we include appearance affinity modelling to disambiguate the initial correlation maps and multi-level aggregation to benefit from hierarchical feature representations within Transformer-based aggregator, and combine with swapping self-attention and residual connections not only to enforce consistent matching, but also to ease the learning process. We conduct experiments to demonstrate the effectiveness of the proposed model over the latest methods and provide extensive ablation studies. Code and trained models will be made available at this https URL.

研究动机与目标

• 解决手工设计和基于CNN的成本聚合方法在处理大范围类内外观和几何变化时的局限性。
• 通过自注意力机制建模全局上下文，提升对严重形变和错误匹配的鲁棒性。
• 通过在基于Transformer的聚合器中结合多层级分层特征，增强特征表示能力。
• 通过互换自注意力机制和残差连接，在图像间强制实现一致匹配，以稳定训练并提升对齐效果。

提出的方法

• 采用基于Transformer的成本聚合模块，利用多头自注意力机制在初始相关图中建模长距离依赖关系。
• 引入外观亲和力建模，通过度量特征之间的语义相似性来优化初始相关图。
• 实施多层级特征聚合，以利用网络不同阶段的分层表征。
• 使用互换自注意力机制，强制匹配对之间的双向一致性，提升对齐可靠性。
• 集成残差连接，以简化优化过程并稳定深层Transformer架构中的训练。
• 将所有组件整合为一个端到端可训练的密集语义对应框架。

实验结果

研究问题

• RQ1 基于Transformer的成本聚合模块是否能在处理大范围外观和几何变化方面优于基于CNN的方法和手工设计的方法？
• RQ2 外观亲和力建模在消除初始相关图中的歧义、实现更准确的对应预测方面有多有效？
• RQ3 多层级特征聚合在具有复杂变化的对应任务中，能在多大程度上提升性能？
• RQ4 与标准自注意力机制相比，互换自注意力是否能增强匹配的一致性和鲁棒性？
• RQ5 残差连接在所提出的基于Transformer的架构中，对训练稳定性和收敛性有何贡献？

主要发现

• CATs在密集语义对应基准数据集上达到最先进性能，展现出在大范围类内变化下的卓越泛化能力。
• 外观亲和力建模的集成显著提升了在模糊区域中对正确匹配与错误匹配的区分能力。
• 多层级聚合带来了更鲁棒的特征表示，尤其在复杂形变区域表现更优。
• 互换自注意力机制增强了双向一致性，减少了不一致预测，提升了匹配可靠性。
• 残差连接有助于深层Transformer架构中的稳定训练和更快收敛。
• 大量消融实验验证了各组件的有效性，完整CATs模型在所有评估指标上均优于消融变体。