[论文解读] Unsupervised learning through one-shot image-based shape reconstruction.

Dinesh Jayaraman, Ruohan Gao+1 more|arXiv (Cornell University)|Sep 1, 2017

Human Pose and Action Recognition参考文献 17被引用 8

一句话总结

本文提出了一种自监督、类别无关的方法，通过单张2D图像使用编码器-解码器CNN学习3D形状表征。通过训练模型从单张输入图像重建所有未见视角，其学习到的解耦形状特征可实现零样本心理旋转，并在物体识别任务上优于现有无监督方法。

ABSTRACT

We introduce an unsupervised feature learning approach that embeds 3D shape information into a single-view image representation. The main idea is a self-supervised training objective that, given only a single 2D image, requires all unseen views of the object to be predictable from learned features. We implement this idea as an encoder-decoder convolutional neural network. The network maps an input image of an unknown category and unknown viewpoint to a latent space, from which a deconvolutional decoder can best lift the image to its complete viewgrid showing the object from all viewing angles. Our class-agnostic training procedure encourages the representation to capture fundamental shape primitives and semantic regularities in a data-driven manner---without manual semantic labels. Our results on two widely-used shape datasets show 1) our approach successfully learns to perform mental rotation even for objects unseen during training, and 2) the learned latent space is a powerful representation for object recognition, outperforming several existing unsupervised feature learning methods.

研究动机与目标

• 开发一种无监督特征学习方法，从单视角图像中捕捉3D形状信息，且无需类别特定监督。
• 通过学习基本形状基元和语义规律，实现对未见物体类别的泛化能力。
• 通过基于视角重建的自监督目标，消除对人工标注的依赖。
• 评估所学习的表征是否支持零样本泛化及下游识别任务。

提出的方法

• 该方法使用编码器-解码器卷积神经网络，将单张2D图像映射到潜在空间，并从所有角度重建完整的视角网格图。
• 自监督训练目标要求模型仅使用输入图像作为监督，从编码特征中预测所有未见视角。
• 编码器从单张图像中提取层次化特征，而解码器生成多视角输出，表示物体从所有视角的外观。
• 模型通过最小化预测视图网格图像与真实视图网格图像之间差异的重建损失，进行端到端训练。
• 该方法为类别无关，即无需类别标签或对象身份的先验知识。
• 潜在空间被优化以编码形状不变特征，支持心理旋转和泛化能力。

实验结果

研究问题

• RQ1 模型能否在无任何类别标签或监督的情况下，从未见的单张2D图像中重建出物体的所有缺失视角？
• RQ2 所学习的表征是否以数据驱动方式捕捉了解耦的形状基元和语义规律？
• RQ3 模型能否在未见过的物体上实现泛化，隐式地执行心理旋转？
• RQ4 与现有无监督方法相比，所学习的表征在下游识别任务上的表现如何？
• RQ5 潜在空间是否具有语义意义，并对零样本物体识别具有实用性？

主要发现

• 该模型成功在未见物体上执行心理旋转，展示了超越训练分布的泛化能力。
• 所学习的潜在空间在两个基准形状数据集上的物体识别任务中，达到无监督方法的最先进性能。
• 在下游识别任务中，该方法优于多个现有的无监督特征学习基线方法。
• 模型在无需类别级标注或微调的情况下，实现了跨物体类别的泛化。
• 自监督目标有效促进了形状不变和语义规律特征的学习。