[论文解读] PARN: Pyramidal Affine Regression Networks for Dense Semantic Correspondence Estimation

Sangryul Jeon, Seungryong Kim+2 more|arXiv (Cornell University)|Jul 9, 2018

Image Retrieval and Classification Techniques被引用 6

一句话总结

PARN 通过以粗到精的分层方式估计局部变化的仿射变换场，提出了一种用于密集语义对应的新颖深度学习框架。它在多尺度特征上使用残差仿射回归，并采用基于对应一致性约束的弱监督训练方案，无需对连续变换场进行量化，从而实现了最先进性能。

ABSTRACT

This paper presents a deep architecture for dense semantic correspondence, called pyramidal affine regression networks (PARN), that estimates locally-varying affine transformation fields across images. To deal with intra-class appearance and shape variations that commonly exist among different instances within the same object category, we leverage a pyramidal model where affine transformation fields are progressively estimated in a coarse-to-fine manner so that the smoothness constraint is naturally imposed within deep networks. PARN estimates residual affine transformations at each level and composes them to estimate final affine transformations. Furthermore, to overcome the limitations of insufficient training data for semantic correspondence, we propose a novel weakly-supervised training scheme that generates progressive supervisions by leveraging a correspondence consistency across image pairs. Our method is fully learnable in an end-to-end manner and does not require quantizing infinite continuous affine transformation fields. To the best of our knowledge, it is the first work that attempts to estimate dense affine transformation fields in a coarse-to-fine manner within deep networks. Experimental results demonstrate that PARN outperforms the state-of-the-art methods for dense semantic correspondence on various benchmarks.

研究动机与目标

• 解决密集语义对应估计中类内外观和形状变化的问题。
• 在不离散化连续变换场的前提下，对图像间实现局部变化的仿射变换建模。
• 通过引入基于对应一致性的弱监督方案，缓解训练数据中监督信息有限的问题。
• 通过分层金字塔架构实现端到端的密集对应学习，实现平滑且分层的细化过程。

提出的方法

• PARN 采用分层深度网络，从粗到精的层级逐步估计仿射变换场。
• 在每一层，网络回归残差仿射变换，并将其组合以形成最终的变换场。
• 通过分层多尺度细化过程，架构自然地施加了平滑性约束。
• 引入弱监督训练目标，通过图像对之间的对应一致性生成渐进式监督信号。
• 该方法完全可微分且支持端到端训练，避免了对连续仿射场的量化。
• 网络使用共享主干网络提取的特征图，在多个尺度上估计变换场。

实验结果

研究问题

• RQ1 基于粗到精的分层深度网络架构能否有效建模用于密集语义对应的局部变化仿射变换？
• RQ2 当真实对应关系有限时，如何利用弱监督生成渐进式监督信号？
• RQ3 分层结构是否能自然地在估计的变换场上施加平滑性，而无需显式正则化？
• RQ4 端到端学习连续仿射场是否优于依赖离散量化或不可微分组件的方法？

主要发现

• PARN 在多个密集语义对应基准上达到最先进性能，优于现有方法。
• 粗到精的分层金字塔设计有效建模了类内外观和形状的变化。
• 弱监督训练方案在标注数据有限的情况下显著提升了泛化能力。
• 该方法避免了对连续仿射场的量化，从而实现了更精确且灵活的变换估计。
• 基于对应一致性的渐进式监督信号增强了训练稳定性和性能。
• 端到端可微分架构支持对整个网络进行完整优化，无需中间近似。