[论文解读] Slot Contrastive Networks: A Contrastive Approach for Representing Objects

Evan Racah, Sarath Chandar|arXiv (Cornell University)|Jul 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 38被引用 5

一句话总结

槽对比网络（SCN）通过利用视频序列中的时间运动，提出了一种无监督对象表征的对比学习方法。该方法通过时间对比损失和一种新颖的槽多样性损失，学习到独特且具有判别性的槽表征，在 Atari 游戏上实现了最先进的性能，相较于以往的自监督方法，其槽准确率和模块化程度均有提升。

ABSTRACT

Unsupervised extraction of objects from low-level visual data is an important goal for further progress in machine learning. Existing approaches for representing objects without labels use structured generative models with static images. These methods focus a large amount of their capacity on reconstructing unimportant background pixels, missing low contrast or small objects. Conversely, we present a new method that avoids losses in pixel space and over-reliance on the limited signal a static image provides. Our approach takes advantage of objects' motion by learning a discriminative, time-contrastive loss in the space of slot representations, attempting to force each slot to not only capture entities that move, but capture distinct objects from the other slots. Moreover, we introduce a new quantitative evaluation metric to measure how "diverse" a set of slot vectors are, and use it to evaluate our model on 20 Atari games.

研究动机与目标

• 为解决生成模型在无监督对象表征中的局限性，即在背景像素上浪费容量并难以捕捉小尺寸或低对比度对象。
• 通过利用时间运动作为自监督信号，克服现有对比方法对静态图像的依赖，实现对象发现。
• 通过引入槽对比损失，促进每个槽表征代表一个与其它槽不同的独立对象，从而提升槽的解耦性。
• 提出一种新的定量度量——槽模块化与紧凑性，用于评估学习到的槽表征的多样性与一致性。
• 证明在槽空间中进行时间对比学习，可获得比基于静态图像的方法更鲁棒、更结构化的对象表征。

提出的方法

• 模型使用 CNN 编码器处理视频帧，随后将特征图空间划分为 K 个‘槽图’，对应 K 个对象槽。
• 每个槽图通过共享权重的子网络（卷积层 + MLP）独立编码为槽向量，实现参数共享与不变性。
• 在连续帧之间应用时间对比损失，将同一槽在时间上的表征（正样本对）与非连续时间步的随机表征（负样本对）进行对比。
• 引入槽对比损失，以最大化同一时间步下不同槽向量之间的差异性，促进多样性与解耦性。
• 损失函数包含两项：(1) 用于槽显著性的时间对比损失，(2) 用于槽多样性的槽对比损失，两者均采用 InfoNCE 对比目标。
• 模型在 Atari 游戏的视频序列上端到端训练，通过线性探测回归对象位置及新提出的槽质量度量进行评估。

实验结果

研究问题

• RQ1 能否有效利用时间运动，在无监督条件下学习到解耦且以对象为中心的表征？
• RQ2 与仅使用时间对比的方法相比，引入槽对比损失是否能提升学习到的对象槽的多样性与独特性？
• RQ3 所提出的槽模块化与紧凑性度量与下游对象定位任务性能的相关性如何？
• RQ4 槽对比损失在多大程度上促进了表征解耦？其对性能是否为必要条件？
• RQ5 在槽空间中采用对比方法，是否能在基于视频的对象发现任务中超越生成模型及其他自监督方法？

主要发现

• SCN 在 20 个 Atari 游戏上的平均槽准确率达到 0.45，显著优于随机-CNN（0.39），且接近监督模型表现。
• 模型将槽模块化提升至 0.0045（无多样性损失时为 0.0041），但增益有限，表明对解耦性影响较小。
• 在引入多样性损失后，槽紧凑性提升至 0.0137，表明槽更集中于单一对象，但仍远低于监督基线。
• 在 Freeway 和 Bowling 等游戏中，SCN 达到高槽准确率（0.83 和 1.00 R²），显示出在可预测运动场景下的优异表现。
• 在运动不规则的游戏（如 Boxing 和 VideoPinball）中，SCN 超过 CSWM，后者因依赖可预测动力学而表现不佳。
• 消融研究显示，移除槽多样性损失虽略微提升紧凑性，但降低准确率，表明其具有微弱正则化作用，但对解耦性无显著贡献。