[论文解读] SIGMA: Semantic-complete Graph Matching for Domain Adaptive Object Detection

Wuyang Li, Xinyu Liu+1 more|arXiv (Cornell University)|Mar 12, 2022

Multimodal Machine Learning Applications被引用 8

一句话总结

SIGMA 提出了一种语义完备的图匹配框架，用于领域自适应目标检测，通过为缺失类别生成幻觉图节点并重新将适应问题表述为二分图匹配问题，解决了类内差异和领域间语义不匹配的问题。该方法通过图引导的语义补全和结构感知的节点匹配，结合二次分配损失，实现了最先进性能。

ABSTRACT

Domain Adaptive Object Detection (DAOD) leverages a labeled domain to learn an object detector generalizing to a novel domain free of annotations. Recent advances align class-conditional distributions by narrowing down cross-domain prototypes (class centers). Though great success,they ignore the significant within-class variance and the domain-mismatched semantics within the training batch, leading to a sub-optimal adaptation. To overcome these challenges, we propose a novel SemantIc-complete Graph MAtching (SIGMA) framework for DAOD, which completes mismatched semantics and reformulates the adaptation with graph matching. Specifically, we design a Graph-embedded Semantic Completion module (GSC) that completes mismatched semantics through generating hallucination graph nodes in missing categories. Then, we establish cross-image graphs to model class-conditional distributions and learn a graph-guided memory bank for better semantic completion in turn. After representing the source and target data as graphs, we reformulate the adaptation as a graph matching problem, i.e., finding well-matched node pairs across graphs to reduce the domain gap, which is solved with a novel Bipartite Graph Matching adaptor (BGM). In a nutshell, we utilize graph nodes to establish semantic-aware node affinity and leverage graph edges as quadratic constraints in a structure-aware matching loss, achieving fine-grained adaptation with a node-to-node graph matching. Extensive experiments verify that SIGMA outperforms existing works significantly. Our code is available at https://github.com/CityU-AIM-Group/SIGMA.

研究动机与目标

• 解决现有领域自适应目标检测方法依赖手工设计类别中心且忽略类内差异的局限性。
• 克服训练批次中类别仅出现在一个领域时出现的领域语义不匹配问题。
• 将领域自适应重新表述为图匹配问题，以实现在源域与目标域之间细粒度、结构感知的对齐。
• 通过生成幻觉图节点开发一种语义补全机制，以恢复目标域中缺失的语义知识。
• 通过图建模类条件分布而非简化原型，实现更好的泛化能力。

提出的方法

• 引入图嵌入语义补全（GSC）模块，利用领域级统计信息在缺失类别中生成幻觉图节点。
• 执行视觉到图（V2G）转换，将特征转换为图节点，随后通过深度图聚类（DNC）获得语义完备的节点表示。
• 为源域和目标域构建跨图像图，利用图卷积网络（GCNs）建模类条件分布。
• 学习一种图引导的记忆库，通过迭代优化提升语义补全能力。
• 提出一种二分图匹配（BGM）适配器，利用节点亲和力和边结构作为约束求解二次分配问题。
• 制定一种结构感知匹配损失，结合节点亲和力与边一致性，通过Sinkhorn归一化和可微分配层进行优化。

Figure 1 : Illustration of the proposed SemantIc-complete Graph MAtching (SIGMA) framework for DAOD.

实验结果

研究问题

• RQ1 基于图的类条件分布建模是否能超越基于原型的对齐，在领域自适应中实现更优性能？
• RQ2 在训练过程中，如何有效补全目标域中缺失的语义类别以减小领域差距？
• RQ3 在源域与目标域图之间进行细粒度的节点到节点匹配，是否能优于全局或类别级别的特征对齐？
• RQ4 在图匹配中引入结构约束（边）在多大程度上能提升适应的鲁棒性与准确性？
• RQ5 通过幻觉节点实现的语义补全是否能减少仅依赖源域监督带来的偏差，并提升对未见领域的泛化能力？

主要发现

• SIGMA 在多个领域自适应基准上达到最先进性能，包括 Cityscapes → Foggy Cityscapes 和 COCO → Cityscapes。
• 与类无关基线方法（如 EPM）相比，该方法显著减少了误检和漏检错误。
• 图引导的记忆库在类别高度不平衡的场景下显著提升了语义补全效果。
• 结合边约束的结构感知匹配损失可实现更准确的节点配对，如双随机亲和矩阵可视化所示。
• 端到端训练无需预热即可达到与预热策略相当的性能，证明了训练的稳定性和效率。
• 消融研究证实，语义补全与图匹配组件均不可或缺，完整 SIGMA 框架优于各类消融变体。

Figure 2 : Overview of the proposed SIGMA framework for DAOD. V2G represents vision-to-graph transformation.