[论文解读] On the Transfer of Inductive Bias from Simulation to the Real World: a New Disentanglement Dataset

Muhammad Waleed Gondal, Manuel Wüthrich+8 more|arXiv (Cornell University)|Jun 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 53被引用 30

一句话总结

本文引入了一个新的真实世界3D数据集，包含超过一百万张物理物体在七种受控因素（颜色、形状、大小、位置、相机高度、背景以及机械臂运动）变化下的图像，同时提供了两个模拟版本，其逼真度逐步提升。研究发现，尽管直接从模拟环境到真实世界的解耦表征迁移性能较差，但基于逼真模拟选择模型和超参数可显著提升迁移性能，当从逼真模拟迁移到真实数据时，有72%的成功率优于随机选择。

ABSTRACT

Learning meaningful and compact representations with disentangled semantic aspects is considered to be of key importance in representation learning. Since real-world data is notoriously costly to collect, many recent state-of-the-art disentanglement models have heavily relied on synthetic toy data-sets. In this paper, we propose a novel data-set which consists of over one million images of physical 3D objects with seven factors of variation, such as object color, shape, size and position. In order to be able to control all the factors of variation precisely, we built an experimental platform where the objects are being moved by a robotic arm. In addition, we provide two more datasets which consist of simulations of the experimental setup. These datasets provide for the first time the possibility to systematically investigate how well different disentanglement methods perform on real data in comparison to simulation, and how simulated data can be leveraged to build better representations of the real world. We provide a first experimental study of these questions and our results indicate that learned models transfer poorly, but that model and hyperparameter selection is an effective means of transferring information to the real world.

研究动机与目标

• 为填补在真实世界数据上评估解耦表征学习的空白，因为以往工作主要依赖于合成的玩具数据集。
• 研究解耦方法从模拟环境到真实物理记录的迁移效果。
• 考察模拟质量与归纳偏置在实现向真实世界数据成功迁移中的作用。
• 提供一个基准数据集，包含受控的、高质量的真实世界与模拟图像，用于系统性评估。

提出的方法

• 构建了一个机器人平台，精确控制并记录七种受控变量（颜色、形状、大小、相机高度、背景以及机械臂运动的两个自由度）下的3D物理物体。
• 生成了两个合成数据集：一个使用简化的渲染（玩具模拟），另一个使用高保真、逼真的渲染，与实际设置相匹配。
• 收集了超过一百万张真实世界图像，并将它们与相同分辨率（64×64）和因子配置的合成图像进行匹配。
• 使用标准指标（如MIG、DCI）在真实数据、玩具模拟数据和逼真模拟数据上评估了多种最先进解耦模型。
• 通过等级相关性分析和模型选择迁移实验，评估是否能从模拟中选择的超参数预测真实数据上的性能。
• 进行了消融研究，评估数据质量、监督信号以及真实世界失真对解耦性能的影响。

实验结果

研究问题

• RQ1 无监督的最先进解耦算法从渲染图像到物理记录的迁移效果如何？
• RQ2 迁移性能在多大程度上依赖于预训练所用模拟的逼真度？
• RQ3 能否利用模拟中的模型与超参数选择作为真实世界表征学习的有效归纳偏置？
• RQ4 在学习解耦表征时，使用真实世界失真（如反光、噪声）是否有优势？
• RQ5 解耦表征能否用于建模数据生成过程中的因果机制？

主要发现

• 仅在模拟数据上训练的模型，其解耦表征直接迁移到真实世界数据时性能较差，真实数据上的MIG和DCI得分显著降低。
• 基于逼真模拟选择的模型与超参数可显著提升迁移性能，从逼真模拟迁移到真实数据时，有72%的成功率优于随机模型选择。
• 出人意料的是，即使从简化的合成玩具模拟迁移到真实数据，其性能仍优于随机选择的78%的时间，表明即使是低保真模拟也保留了有用的归纳偏置。
• 在不同数据集（真实、逼真模拟、玩具模拟）上模型的性能排名表现出高度等级相关性，表明模型性能在不同领域间具有可预测性。
• 本研究证实，基于真实世界数据训练的解耦表征得分优于从模拟迁移而来的表征，凸显了真实数据在最终部署中的重要性。
• 所提出的数据集使得在模拟与真实世界领域之间系统评估解耦性、迁移学习和归纳偏置成为可能。