[论文解读] Online Object Representations with Contrastive Learning

Sören Pirk, Mohi Khansari+3 more|arXiv (Cornell University)|Jun 10, 2019

Domain Adaptation and Few-Shot Learning参考文献 51被引用 13

一句话总结

该论文提出了一种自监督对比学习方法——物体对比网络（OCN），能够从单目视频中无标注地学习解耦的物体表征。通过利用视频中的时间连续性，OCN 发现了颜色、形状和功能等物体属性，通过在线适应实现 2.2% 的物体识别错误率——显著优于离线基线的 52.4% 错误率。

ABSTRACT

We propose a self-supervised approach for learning representations of objects from monocular videos and demonstrate it is particularly useful in situated settings such as robotics. The main contributions of this paper are: 1) a self-supervising objective trained with contrastive learning that can discover and disentangle object attributes from video without using any labels; 2) we leverage object self-supervision for online adaptation: the longer our online model looks at objects in a video, the lower the object identification error, while the offline baseline remains with a large fixed error; 3) to explore the possibilities of a system entirely free of human supervision, we let a robot collect its own data, train on this data with our self-supervise scheme, and then show the robot can point to objects similar to the one presented in front of it, demonstrating generalization of object attributes. An interesting and perhaps surprising finding of this approach is that given a limited set of objects, object correspondences will naturally emerge when using contrastive learning without requiring explicit positive pairs. Videos illustrating online object adaptation and robotic pointing are available at: https://online-objects.github.io/.

研究动机与目标

• 开发一种自监督方法，从无结构的单目视频中无须人工标注即可学习解耦的视觉与语义物体属性（如颜色、形状、功能）。
• 在视频推理过程中实现物体表征的在线适应，使模型在观察物体时间越长，识别准确率越高。
• 证明机器人可自主收集数据，使用所提方法进行训练，并在无任何人工监督的情况下泛化至指向与示例相似的物体。
• 探索仅通过对比学习——无需深度信息、跟踪或显式监督——是否能自然发现视频中的物体对应关系与属性结构。
• 通过零样本物体相似性匹配，在真实机器人环境中评估自监督表征的鲁棒性与泛化能力。

提出的方法

• 使用对比学习训练度量嵌入空间，其中正样本对通过单目视频中的时间一致性自动发现，无需真实物体匹配的监督信号。
• 利用预训练的物体存在检测器从随机帧中提取候选物体，然后应用对比损失函数，将同一物体在时间上的嵌入聚类。
• 采用孪生网络架构与对比损失函数，拉近同一物体在不同视角下的嵌入距离，同时推远不同物体之间的距离。
• 通过逐步延长用于训练的视频序列实现在线训练，使模型能够随时间推移不断优化其表征。
• 推理阶段使用最近邻分类器，利用学习到的嵌入将查询物体与场景中最具相似性的物体匹配。
• 端到端训练模型，仅以视频帧作为输入，完全不依赖深度信息、分割掩码或跟踪信号。

实验结果

研究问题

• RQ1 对比学习能否在无任何监督的情况下，从未结构化的单目视频中发现并解耦颜色、形状和功能等物体属性？
• RQ2 与离线预训练相比，通过逐步暴露视频序列实现的在线自监督是否能提升物体识别准确率？
• RQ3 使用该方法在自身收集的数据上训练的机器人，是否能以零样本方式泛化至识别并指向与给定示例相似的物体？
• RQ4 自监督对比学习在无显式正样本对标注的情况下，能在多大程度上发现物体对应关系？
• RQ5 在泛化能力与属性解耦方面，所学表征与监督基线及标准特征提取器（如 ResNet50）相比如何？

主要发现

• OCN 模型通过在 200 秒视频序列上进行在线训练，将物体识别错误率从离线基线的 52.4% 降低至 2.2%。
• 在线性属性分类任务中，OCN 在类别属性上错误率为 10.70%，颜色属性为 5.84%，二值属性为 13.76%，优于 ResNet50 基线（14.82% 错误率），并接近监督基线。
• 最近邻分析显示，OCN 在视觉（如颜色）与语义（如容器功能）维度上对物体进行组织，正确将碗与广口瓶、杯子分组。
• 该模型成功使机器人在真实环境中指向与查询物体相似的物体，证明了所学属性的泛化能力，且无需人工标注。
• 仅通过自监督对比学习——无需深度、跟踪或显式监督——即可在视频中发现物体对应关系与属性解耦。
• 无监督的 OCN 模型在属性分类任务上的表现与监督的 OCN 基线相差仅 2–3%，表明其在无标注数据下仍具备极强的泛化能力。