[论文解读] Synthetic-to-real Composite Semantic Segmentation in Additive Manufacturing

Aliaksei Petsiuk, Harnoor Singh+2 more|arXiv (Cornell University)|Oct 14, 2022

Additive Manufacturing and 3D Printing Technologies被引用 4

一句话总结

本文提出了一种用于3D打印语义分割的合成到真实域自适应框架，结合基于物理的渲染与图像到图像的风格迁移技术。通过在域自适应前应用从真实到合成的风格迁移，该方法将仅使用合成数据训练的模型在真实3D打印图像上的mIoU从61.10%提升至75.19%，显著缩小了合成到真实域之间的差距。

ABSTRACT

The application of computer vision and machine learning methods in the field of additive manufacturing (AM) for semantic segmentation of the structural elements of 3-D printed products will improve real-time failure analysis systems and can potentially reduce the number of defects by enabling in situ corrections. This work demonstrates the possibilities of using physics-based rendering for labeled image dataset generation, as well as image-to-image translation capabilities to improve the accuracy of real image segmentation for AM systems. Multi-class semantic segmentation experiments were carried out based on the U-Net model and cycle generative adversarial network. The test results demonstrated the capacity of detecting such structural elements of 3-D printed parts as a top layer, infill, shell, and support. A basis for further segmentation system enhancement by utilizing image-to-image style transfer and domain adaptation technologies was also developed. The results indicate that using style transfer as a precursor to domain adaptation can significantly improve real 3-D printing image segmentation in situations where a model trained on synthetic data is the only tool available. The mean intersection over union (mIoU) scores for synthetic test datasets included 94.90% for the entire 3-D printed part, 73.33% for the top layer, 78.93% for the infill, 55.31% for the shell, and 69.45% for supports.

研究动机与目标

• 为解决3D打印中高达20%的失败率（尤其对初学者）问题，实现实时在位缺陷检测。
• 通过利用基于物理的渲染生成合成数据，减少对昂贵且耗时的真实世界标注的依赖。
• 通过图像到图像翻译与域自适应技术，弥合3D打印图像分割中合成数据与真实数据之间的域差距。
• 开发一种与相机无关、无需标记的3D打印监控系统，降低校准与定位需求。
• 通过单个摄像头与可迁移的深度学习模型，实现可扩展、低成本的3D打印件视觉监控。

提出的方法

• 从3D打印件的G-code文件中，使用Blender的基于物理的渲染引擎生成逼真的合成训练数据。
• 在合成图像上训练基于U-Net的多类别语义分割模型，以识别顶层、填充结构、外壳和支撑结构。
• 应用从真实到合成的图像到图像风格迁移（使用CycleGAN）将真实3D打印图像转换为与合成数据风格一致。
• 将经过风格迁移的真实图像输入至仅在合成数据上训练的模型中，从而在无需真实标注的情况下实现域自适应。
• 使用合成与真实测试集上的平均交并比（mIoU）评估性能。
• 采用t-SNE可视化分析域偏移，并验证风格迁移在减小域差异方面的有效性。

实验结果

研究问题

• RQ1 基于物理的合成数据生成能否有效训练用于3D打印件的语义分割模型？
• RQ2 从真实到合成的图像风格迁移在多大程度上减小了合成与真实3D打印图像之间的域差距？
• RQ3 当微调不可行时，作为预处理步骤的风格迁移如何提升分割精度？
• RQ4 通过风格迁移实现的域自适应对真实世界3D打印图像的mIoU分数有何影响？
• RQ5 仅在合成数据上训练的模型在经过风格迁移后，能否在真实图像上实现可接受的性能？

主要发现

• 在合成测试数据上，模型对整个3D打印件的mIoU达到94.90%，表明其在合成数据上具有强大的泛化能力。
• 对于真实3D打印图像，当使用经真实到合成风格迁移处理后的图像时，mIoU从61.10%提升至75.19%。
• 该方法表明，作为域自适应前驱步骤的风格迁移，显著提升了在真实标注数据稀缺场景下的分割性能。
• 在合成数据上，顶层（73.33% mIoU）与填充结构（78.93% mIoU）表现出较强的分割性能，而外壳（55.31%）与支撑结构（69.45%）更具挑战性。
• 视觉分析表明，风格迁移减少了丝材拉丝与反光等干扰性视觉伪影，提升了分割的一致性。
• t-SNE投影验证了风格迁移有效减小了域偏移，使真实图像特征更接近合成数据分布。