[论文解读] WarpNet: Weakly Supervised Matching for Single-view Reconstruction

Angjoo Kanazawa, David W. Jacobs+1 more|arXiv (Cornell University)|Apr 19, 2016

Advanced Image and Video Retrieval Techniques参考文献 25被引用 34

一句话总结

该论文提出 WarpNet，一种弱监督深度学习框架，可在无需部件标注的情况下，学习在细粒度数据集中匹配跨类别和姿态变化的物体。通过利用从分割轮廓上应用示例 TPS 变换生成的人工对应关系，WarpNet 预测空间形变，作为空间先验，从而实现与监督方法相当的高精度匹配和单视角重建，在 CUB-200-2011 数据集上相比仅依赖外观的网络实现了 13.6% 的 AP 提升。

ABSTRACT

We present an approach to matching images of objects in fine-grained datasets without using part annotations, with an application to the challenging problem of weakly supervised single-view reconstruction. This is in contrast to prior works that require part annotations, since matching objects across class and pose variations is challenging with appearance features alone. We overcome this challenge through a novel deep learning architecture, WarpNet, that aligns an object in one image with a different object in another. We exploit the structure of the fine-grained dataset to create artificial data for training this network in an unsupervised-discriminative learning approach. The output of the network acts as a spatial prior that allows generalization at test time to match real images across variations in appearance, viewpoint and articulation. On the CUB-200-2011 dataset of bird categories, we improve the AP over an appearance-only network by 13.6%. We further demonstrate that our WarpNet matches, together with the structure of fine-grained datasets, allow single-view reconstructions with quality comparable to using annotated point correspondences.

研究动机与目标

• 解决在细粒度数据集中，面对显著外观、姿态和关节运动变化时，无需昂贵部件标注即可匹配物体的挑战。
• 开发一种深度学习框架，从弱监督数据中学习空间对应关系先验，以实现对真实图像匹配的泛化能力。
• 仅使用图像级结构和学习到的空间先验，实现弱监督的单视角 3D 重建，避免手动关键点标注。
• 证明 WarpNet 预测的形变能够生成几乎与使用标注部件对应关系的监督方法相当的重建质量。

提出的方法

• WarpNet 是一种孪生卷积神经网络架构，输入为两张图像，预测一个薄板样条（TPS）变换，以对齐物体间对应点。
• 通过利用细粒度数据集（如 CUB-200-2011）的姿态图，从已知边界框和分割结果中生成的轮廓提取 TPS 变换，创建人工训练数据。
• 通过优化源图像与形变后目标图像之间的对齐程度，以无监督判别方式训练网络，采用受 [14] 启发的点变换器层。
• 输出的形变作为空间先验，在推理过程中指导跨外观和形状变化的匹配。
• 在重建阶段，利用姿态图结构将 WarpNet 的匹配结果在数据集中传播，并使用空间先验从单张图像重建 3D 形状，无需标注关键点。
• 后处理包括 xy- snapping 操作，固定 x 和 y 坐标，仅使用 z-深度，以提升重建的一致性。

实验结果

研究问题

• RQ1 深度学习模型能否在无需任何部件标注的情况下，学习匹配跨类别和姿态变化的物体？
• RQ2 在细粒度数据集中，通过示例 TPS 变换生成的人工对应关系，能否有效训练网络以泛化到真实图像匹配？
• RQ3 此类网络预测的空间形变能否作为强空间先验，实现无需人工标注的高质量单视角 3D 重建？
• RQ4 人工数据中变换类型（如 TPS 与仿射变换）的选择如何影响所学习匹配网络的性能？

主要发现

• 在 CUB-200-2011 数据集上，WarpNet 在跨外观和姿态变化的匹配任务中，相比 ILSVRC CNN 基线，平均精度（AP）提升了 13.6%。
• WarpNet 在精确率和召回率方面均优于仿射变换训练的 AffineNet 变体以及 VGG-M 的 conv4 基线，尤其在高精确率阈值下表现更优。
• 使用 WarpNet 匹配结果生成的重建，在视觉和定量指标上均更接近使用标注部件对应关系的监督方法，而明显优于仅依赖外观特征或无监督基线（如可变形空间金字塔）的重建结果。
• 在数据生成中使用示例 TPS 变换至关重要——在仿射变换上训练的 AffineNet 表现劣于 WarpNet，表明非刚性形变对建模复杂形状变化至关重要。
• WarpNet 能够成功恢复如尾部和翅膀等关节部件，并保持一致的深度，而 VGG-M 和 DSP 基线常失败，导致噪声大或异常值多的重建结果。
• 该方法实现了鸟类单视角重建质量接近监督方法，证明了在细粒度数据集中实现弱监督 3D 重建的可行性。