[论文解读] RICE: Refining Instance Masks in Cluttered Environments with Graph Neural Networks

Christopher Xie, Arsalan Mousavian+2 more|arXiv (Cornell University)|Jun 29, 2021

Architecture and Computational Design被引用 7

一句话总结

RICE 提出了一种基于图神经网络的框架，通过采样智能扰动（分割、合并、删除）并利用分割图评分网络（SGS-Net）对扰动进行评分，从而在杂乱场景中优化实例分割掩码。该方法与现有方法结合后实现了最先进性能，并通过利用轮廓不确定性估计指导操作臂，实现了高效的场景理解。

ABSTRACT

Segmenting unseen object instances in cluttered environments is an important capability that robots need when functioning in unstructured environments. While previous methods have exhibited promising results, they still tend to provide incorrect results in highly cluttered scenes. We postulate that a network architecture that encodes relations between objects at a high-level can be beneficial. Thus, in this work, we propose a novel framework that refines the output of such methods by utilizing a graph-based representation of instance masks. We train deep networks capable of sampling smart perturbations to the segmentations, and a graph neural network, which can encode relations between objects, to evaluate the perturbed segmentations. Our proposed method is orthogonal to previous works and achieves state-of-the-art performance when combined with them. We demonstrate an application that uses uncertainty estimates generated by our method to guide a manipulator, leading to efficient understanding of cluttered scenes. Code, models, and video can be found at https://github.com/chrisdxie/rice .

研究动机与目标

• 改进在高度杂乱、非结构化环境中实例分割的性能，因为现有方法在处理重叠或模糊的对象实例时会失效。
• 通过引入基于图表示的分割掩码关系推理，解决当前方法在处理未见对象类别和密集杂乱场景时的局限性。
• 开发一种优化框架，以增强现有分割输出，而无需重新训练或修改网络架构。
• 通过利用优化过程中的不确定性估计，指导物理交互，实现高效的机器人场景理解。

提出的方法

• 将初始实例掩码表示为图结构，其中每个掩码为一个节点，空间上邻近的掩码之间建立边，形成分割图。
• 训练采样操作网络（SO-Nets），使用类似 CEM 的优化框架，生成智能扰动（如分割、合并或删除掩码）。
• 利用图神经网络（SGS-Net）对每个扰动后的分割图进行评分，该网络编码了关系归纳偏置，用于对分割质量进行排序。
• 将得分最高的图或其轮廓不确定性作为最终输出，从而同时实现分割性能提升和不确定性感知的决策。
• 将优化流水线作为后处理模块，与现有实例分割模型正交集成，实现即插即用的性能增强。
• 利用轮廓不确定性（在采样图中掩码轮廓的标准差）指导机器人操作，识别出最需要通过物理交互来消除歧义的对象。

实验结果

研究问题

• RQ1 通过图神经网络进行关系推理，是否能显著提升在高度杂乱、未见对象场景下的实例分割性能？
• RQ2 通过学习得到的智能扰动（如分割、合并、删除）是否能显著提升初始分割输出的质量？
• RQ3 SO-Nets 与 SGS-Net 的结合是否能带来比单独使用 SO-Nets 更优的分割性能？
• RQ4 优化过程中的不确定性估计是否可用于指导机器人操作中高效、主动的场景理解？
• RQ5 该方法是否可作为插件直接应用于现有分割模型，而无需重新训练？

主要发现

• 当与现有实例分割方法结合时，RICE 实现了最先进性能，在杂乱场景中对未见对象实例的分割表现显著优于基线模型。
• 分割图评分网络（SGS-Net）在对分割图进行排序时，其准确性和一致性均优于仅使用 SO-Nets 的方法，有效降低了方差并提升了泛化能力。
• 可视化消融实验表明，RICE 能有效纠正常见错误，如分割不足、在纹理背景上产生假阳性，以及漏检物体。
• RICE 生成的轮廓不确定性估计可帮助操作臂仅识别最模糊的分割区域，从而减少所需物理交互次数——例如，在某一场景中仅需两次抓取即可完全消除歧义。
• 该方法计算开销较大，每帧处理耗时 10–15 秒，且因需将完整采样树存储在内存中，对 GPU 显存要求较高。
• 失败案例包括对纹理物体（如麦片盒）的过度分割，以及无法将属于同一物体但不相邻的掩码合并，反映出当前方法的局限性。