[论文解读] R-SQAIR: Relational Sequential Attend, Infer, Repeat

Aleksandar Stanić, Jürgen Schmidhuber|arXiv (Cornell University)|Oct 11, 2019

Bayesian Modeling and Causal Inference参考文献 33被引用 18

一句话总结

R-SQAIR 通过使用交互网络（IN）或关系记忆主干（RMC）引入并行关系归纳偏置，扩展了 SQAIR 模型，实现了视频中成对物体交互的显式、组合可泛化建模。这在对训练时未见的更多物体场景进行测试时，显著提升了对数似然和关系泛化性能。

ABSTRACT

Traditional sequential multi-object attention models rely on a recurrent mechanism to infer object relations. We propose a relational extension (R-SQAIR) of one such attention model (SQAIR) by endowing it with a module with strong relational inductive bias that computes in parallel pairwise interactions between inferred objects. Two recently proposed relational modules are studied on tasks of unsupervised learning from videos. We demonstrate gains over sequential relational mechanisms, also in terms of combinatorial generalization.

研究动机与目标

• 提升序列注意力模型在无监督视频理解中的关系推理能力。
• 解决基于 RNN 的序列关系机制在高效且组合性地建模物体交互方面的局限性。
• 使模型能够泛化到训练数据中未见的更多物体数量的场景。
• 在不牺牲时间一致性的前提下，将强关系归纳偏置整合进序列注意力框架。

提出的方法

• R-SQAIR 通过并行关系模块（即交互网络 IN 或关系记忆主干 RMC）增强 SQAIR，以并行计算所有物体对之间的相互作用。
• 关系模块并行计算所有物体对之间的相互作用效果，取代 SQAIR 中的序列 RNN 关系机制。
• IN 模块使用注意力系数计算交互效果的加权和，而 RMC 使用记忆槽上的多头自注意力机制来建模物体动态。
• 模型采用摊销变分推断与结构化 VAE 框架，保留原始 SQAIR 的架构用于物体发现与传播。
• 仅在发生碰撞的物体对上计算关系对数似然，以实现对关系推理性能的针对性评估。
• 超参数在低视觉复杂度设置下进行调优：z_what 的潜在维度为 5，IN 的维度为 5，RMC 使用 4 个 10 维的自注意力头。

实验结果

研究问题

• RQ1 并行关系模块是否能提升序列注意力模型在视频任务中的关系推理能力？
• RQ2 整合强关系归纳偏置是否能增强对未见物体数量的组合泛化能力？
• RQ3 在分布外测试集上，R-SQAIR 与 SQAIR 在对数似然和关系对数似然方面表现如何比较？
• RQ4 模型是否能在不重新训练的情况下泛化到训练数据中未出现的更多物体数量的场景？

主要发现

• R-SQAIR(IN) 在 4 球视频上实现测试数据对数似然 429.2 和关系对数似然 1.95，优于 SQAIR 的 399.5 和 0.21。
• R-SQAIR(RMC) 在 4 球视频上实现数据对数似然 457.32 和关系对数似然 3.62，显著优于 SQAIR。
• 在 6–8 球测试集上，R-SQAIR(IN) 的关系对数似然为 -96.7，而 SQAIR 为 -164.1，表明其对更多物体具有更强的泛化能力。
• R-SQAIR 与 SQAIR 在 6–8 球数据集上关系对数似然的性能差距表明，R-SQAIR 学习到了更鲁棒且更具泛化能力的传播先验。
• 仅增加 9,389 个参数（IN）或 98,880 个参数（RMC）即带来显著性能提升，表明性能提升源于更优的归纳偏置，而非参数量增加。
• 定性结果表明，R-SQAIR 早期即解耦并优化物体表征，能泛化到未见的物体数量，且在帧间保持一致的物体追踪。