[论文解读] Unsupervised Discovery of Object Landmarks as Structural Representations

Yuting Zhang, Yijie Guo+4 more|arXiv (Cornell University)|Apr 12, 2018

Advanced Image and Video Retrieval Techniques参考文献 15被引用 7

一句话总结

该论文提出了一种可微分自编码框架，通过在关键点坐标上施加结构约束，以无监督方式发现语义上有意义的对象关键点。该方法在预测人工标注关键点方面优于先前的无监督方法，并能利用发现的关键点作为可感知的、解耦的结构表征，实现可控图像生成。

ABSTRACT

Deep neural networks can model images with rich latent representations, but they cannot naturally conceptualize structures of object categories in a human-perceptible way. This paper addresses the problem of learning object structures in an image modeling process without supervision. We propose an autoencoding formulation to discover landmarks as explicit structural representations. The encoding module outputs landmark coordinates, whose validity is ensured by constraints that reflect the necessary properties for landmarks. The decoding module takes the landmarks as a part of the learnable input representations in an end-to-end differentiable framework. Our discovered landmarks are semantically meaningful and more predictive of manually annotated landmarks than those discovered by previous methods. The coordinates of our landmarks are also complementary features to pretrained deep-neural-network representations in recognizing visual attributes. In addition, the proposed method naturally creates an unsupervised, perceptible interface to manipulate object shapes and decode images with controllable structures. The project webpage is at http://ytzhang.net/projects/lmdis-rep

研究动机与目标

• 在无人工标注监督的情况下学习物体的内在结构——特别是语义上有意义的关键点。
• 解决深度神经网络在自然地概念化物体类别可感知、紧凑结构表征方面的局限性。
• 开发一种可微分框架，使梯度能够反向传播至关键点坐标，从而实现重建损失与结构正则化损失的端到端联合优化。
• 创建一种可感知的、无监督的接口，用于操控物体形状并生成具有受控结构配置的图像。

提出的方法

• 将关键点发现建模为自编码任务，其中编码器输出关键点坐标，解码器利用这些关键点作为输入表征的一部分来重建输入图像。
• 引入软约束——凹性、分离性和等变性——以在训练过程中强制实现发现的关键点的几何与语义合理性。
• 使用可微分的关键点检测模块，使梯度能够从重建损失反向传播至关键点坐标，从而实现端到端优化。
• 采用多损失目标函数，结合图像重建损失（固定颜色方差下的负对数似然）、关键点凹性损失、关键点分离损失和关键点等变性损失。
• 在计算结构正则化损失前，对关键点坐标进行与图像尺寸相关的数据依赖归一化，以确保尺度不变性。
• 采用条件图像解码器，通过逐元素乘法和通道拼接将随机噪声与关键点条件特征融合，以实现可控图像生成。

实验结果

研究问题

• RQ1 无监督深度学习能否在无任何监督的情况下，发现语义上有意义且在不同物体实例间空间一致的关键点？
• RQ2 可微分自编码框架能否实现对关键点坐标的高效反向传播，从而联合优化关键点发现与图像重建？
• RQ3 与最先进无监督方法相比，所发现的关键点在预测人工标注关键点方面表现如何？
• RQ4 所发现的关键点能否作为有效的、解耦的结构特征，用于识别视觉属性？
• RQ5 基于关键点的解码器能否实现可控图像生成和形状操控？

主要发现

• 所提方法在预测人工标注关键点方面优于最先进无监督方法（Thewlis et al., 2017），尤其在CelebA和AFLW数据集上表现更优。
• 所发现的关键点性能与在大规模标注数据上训练的完全监督关键点检测器相当，表明其在无监督条件下具有强大的泛化能力。
• 关键点坐标作为预训练深度神经网络表征的强互补特征，显著提升了视觉属性识别任务的性能。
• 基于关键点的图像解码器实现了可控图像生成：以发现的关键点为条件生成的图像在感知上与输入结构一致，且保真度高。
• 该方法对超参数变化具有鲁棒性，当对数据集特定的超参数（如λ_recon、σ_sep）进行调优时，性能进一步提升。
• 软约束（凹性、分离性、等变性）的使用显著提升了关键点质量，有效防止模型学习冗余或无关的关键点配置。