[论文解读] SynTable: A Synthetic Data Generation Pipeline for Unseen Object Amodal Instance Segmentation of Cluttered Tabletop Scenes

Zhili Ng, Haozhe Wang+3 more|arXiv (Cornell University)|Jul 14, 2023

Advanced Neural Network Applications被引用 4

一句话总结

SynTable 是一个基于 NVIDIA Isaac Sim Replicator Composer 构建的、基于 Python 的逼真合成数据生成流水线，可自动为杂乱桌面上的未见物体非可见实例分割生成高质量、完全标注的数据集。通过消除人工标注并支持丰富的元数据（如非可见掩码、遮挡顺序和深度图），SynTable 显著提升了模拟到现实的迁移性能，当在 SynTable 生成的数据上进行训练时，UOAIS-Net 在 OSD-Amodal 基准测试中实现了 87.0% 的 F@.75 和 91.9% 的遮挡顺序准确率。

ABSTRACT

In this work, we present SynTable, a unified and flexible Python-based dataset generator built using NVIDIA's Isaac Sim Replicator Composer for generating high-quality synthetic datasets for unseen object amodal instance segmentation of cluttered tabletop scenes. Our dataset generation tool can render complex 3D scenes containing object meshes, materials, textures, lighting, and backgrounds. Metadata, such as modal and amodal instance segmentation masks, object amodal RGBA instances, occlusion masks, depth maps, bounding boxes, and material properties can be automatically generated to annotate the scene according to the users' requirements. Our tool eliminates the need for manual labeling in the dataset generation process while ensuring the quality and accuracy of the dataset. In this work, we discuss our design goals, framework architecture, and the performance of our tool. We demonstrate the use of a sample dataset generated using SynTable for training a state-of-the-art model, UOAIS-Net. Our state-of-the-art results show significantly improved performance in Sim-to-Real transfer when evaluated on the OSD-Amodal dataset. We offer this tool as an open-source, easy-to-use, photorealistic dataset generator for advancing research in deep learning and synthetic data generation. The links to our source code, demonstration video, and sample dataset can be found in the supplementary materials.

研究动机与目标

• 为杂乱桌面上未见物体的非可见实例分割（UOAIS）缺乏大规模、高质量数据集的问题提供解决方案。
• 克服人工标注的局限性，后者耗时、主观且容易在非可见掩码上出错。
• 通过生成逼真且自动标注的合成数据，减少模拟到现实的领域差距。
• 提供一个统一、灵活且开源的工具，用于生成多样化、可自定义的合成数据集，并附带丰富的元数据，以支持机器人领域的深度学习。
• 通过更优的训练数据，提升机器人抓取系统在非可见补全和遮挡推理方面的性能。

提出的方法

• 该流水线使用 NVIDIA 的 Isaac Sim Replicator Composer 渲染包含逼真纹理、光照和物体网格的复杂 3D 桌面场景。
• 它自动生成真实标注，包括非可见和可见的实例分割掩码、遮挡掩码、深度图、边界框以及材质属性。
• 用户可通过灵活的基于 Python 的接口自定义场景构图、物体类型和所需标注。
• 该框架集成领域随机化与高保真渲染，以最小化领域偏移并增强模拟到现实的泛化能力。
• 生成一种新颖的遮挡顺序邻接矩阵，以捕捉物体之间的遮挡关系，从而在杂乱场景中实现更优的推理能力。
• 该流水线支持端到端的数据集生成，输出格式可配置，适用于训练如 UOAIS-Net 等先进模型。

实验结果

研究问题

• RQ1 合成数据生成流水线能否在无需人工标注的情况下生成逼真且完全标注的 UOAIS 数据集？
• RQ2 SynTable 生成的合成数据在多大程度上提升了非可见实例分割模型的模拟到现实迁移性能？
• RQ3 遮挡顺序标注的引入在杂乱场景中对非可见分割模型的性能有何影响？
• RQ4 SynTable 能否生成优于现有合成基准的、在遮挡推理和掩码预测准确率方面表现更优的数据集？
• RQ5 领域随机化与逼真度对在 SynTable 生成数据上训练的 UOAIS-Net 模型泛化能力有何影响？

主要发现

• 在 SynTable 生成的数据上训练的 UOAIS-Net 在 OSD-Amodal 基准测试中实现了 87.0% 的 F@.75，显著优于在 UOAIS-Sim 数据集上训练的 80.4% F@.75。
• 当在 SynTable-Sim 数据上微调后，UOAIS-Net 的遮挡顺序准确率（$ACC_{OO}$）从 84.0% 提升至 91.9%，表明其遮挡推理能力显著增强。
• 与 UOAIS-Sim 相比，SynTable 生成的数据将非可见掩码的边界 F-measure 从 50.3% 提升至 53.7%，可见掩码的边界 F-measure 从 50.0% 提升至 53.7%。
• 在 SynTable-Sim 验证集上，基于 SynTable-Sim 训练的模型实现了 86.2% 的非可见掩码重叠 F-measure 和 80.1% 的可见掩码重叠 F-measure，优于 UOAIS-Sim 基线。
• SynTable 有效缩小了领域差距，使 UOAIS-Net 在真实世界场景中泛化能力更强，表现为遮挡顺序准确率绝对提升了 6.6%。
• 该流水线成功消除了人工标注，同时确保了高质量的标注，这一点通过精确度、召回率和 F-measure 指标的一致性提升得到了验证。