[论文解读] NODIS: Neural Ordinary Differential Scene Understanding

Yuren Cong, Hanno Ackermann+3 more|arXiv (Cornell University)|Jan 14, 2020

Multimodal Machine Learning Applications参考文献 51被引用 5

一句话总结

NODIS 提出了一种新颖的神经架构，将场景图生成建模为神经普通微分方程（ODE），通过端到端学习解决物体和关系分类问题。通过将混合整数线性规划（MILP）解释为 ODE，该模型学习图像特定的分配函数，在场景图生成、分类和视觉关系检测基准上实现了最先进性能，同时提升了泛化能力并提供了直观的时间动态解释。

ABSTRACT

Semantic image understanding is a challenging topic in computer vision. It requires to detect all objects in an image, but also to identify all the relations between them. Detected objects, their labels and the discovered relations can be used to construct a scene graph which provides an abstract semantic interpretation of an image. In previous works, relations were identified by solving an assignment problem formulated as Mixed-Integer Linear Programs. In this work, we interpret that formulation as Ordinary Differential Equation (ODE). The proposed architecture performs scene graph inference by solving a neural variant of an ODE by end-to-end learning. It achieves state-of-the-art results on all three benchmark tasks: scene graph generation (SGGen), classification (SGCls) and visual relationship detection (PredCls) on Visual Genome benchmark.

研究动机与目标

• 为解决传统（混合）整数线性规划（MILP）在场景图生成中的局限性，其固定目标无法实现端到端训练。
• 通过将基于 MILP 的分配问题重新表述为可学习的神经 ODE，实现数据自适应、可微分的场景图推理。
• 为 ODE 时间变量在控制物体和关系分类中的作用提供直观的视觉解释。
• 在多个基准任务上实现最先进性能：场景图生成（SGGEN）、场景图分类（SGCLS）和视觉关系检测（PREDCLS）。

提出的方法

• 用连续的 ODE 模块替代离散的多层嵌入网络，使其在嵌入流形上学习平滑轨迹。
• 将物体和关系分类的分配问题建模为神经 ODE，实现对求解过程的反向传播。
• 使用可学习向量场端到端训练 ODE 模块，使模型能够根据图像自适应调整目标函数。
• 将 ODE 中的时间变量解释为控制分类物体和关系数量的参数，可视化显示随时间逐步优化。
• 采用两种变体：O-ODE 用于物体分类，P-ODE 用于关系预测，其中 P-ODE 处理由所有物体对构成的预测。
• 使用 Visual Genome 基准进行训练，并采用 Recall@K 和 Re@50 等标准指标进行评估。

实验结果

研究问题

• RQ1 神经 ODE 是否能有效学习解决场景图生成中的图像特定分配问题？
• RQ2 ODE 中的时间变量如何影响物体和关系的分类？
• RQ3 基于可微、可学习 ODE 的模块是否能在端到端场景理解中超越标准离散 MILP 求解器？
• RQ4 ODE 积分时间对模型性能和泛化能力有何影响？
• RQ5 基于 ODE 的架构能否提供其内部动态的直观、可视化解释？

主要发现

• 该模型在所有三项基准任务上均达到最先进性能：场景图生成（SGGEN）、场景图分类（SGCLS）和视觉关系检测（PREDCLS）。
• 在 SGCLS 上，模型性能相比最佳现有 SOTA 方法提升 2% 至 3%。
• 发现 ODE 的最优积分时间为 1.5，超过该值后性能因外推误差而下降。
• 随着积分时间从 0.05 增加到 3.00，平均函数评估次数（NFE）从 8.0 上升至 26.2，表明预测逐步优化。
• 由于需处理的物体对数量更多，P-ODE 层显著慢于 O-ODE 层，但两者均展现出显著的性能提升。
• 可视化结果证实，增加时间变量可带来更精细的物体和关系预测，但在 t=1.5 之后出现过拟合和误报。