[论文解读] Reinforcement Learning-based Defect Mitigation for Quality Assurance of Additive Manufacturing

Jihoon Chung, Bo Shen+3 more|arXiv (Cornell University)|Oct 28, 2022

Additive Manufacturing and 3D Printing Technologies被引用 4

一句话总结

本文提出了一种名为持续G-学习（Continual G-learning）的无模型强化学习框架，该框架在熔融沉积成型（FFF）增材制造过程中，结合离线的基于文献的知识与在线学习，以缓解不可预见的缺陷。通过整合先验知识与实时知识，该方法在极低样本需求下实现了有效的缺陷缓解，在数值模拟与真实世界FFF案例研究中均表现出卓越性能。

ABSTRACT

Additive Manufacturing (AM) is a powerful technology that produces complex 3D geometries using various materials in a layer-by-layer fashion. However, quality assurance is the main challenge in AM industry due to the possible time-varying processing conditions during AM process. Notably, new defects may occur during printing, which cannot be mitigated by offline analysis tools that focus on existing defects. This challenge motivates this work to develop online learning-based methods to deal with the new defects during printing. Since AM typically fabricates a small number of customized products, this paper aims to create an online learning-based strategy to mitigate the new defects in AM process while minimizing the number of samples needed. The proposed method is based on model-free Reinforcement Learning (RL). It is called Continual G-learning since it transfers several sources of prior knowledge to reduce the needed training samples in the AM process. Offline knowledge is obtained from literature, while online knowledge is learned during printing. The proposed method develops a new algorithm for learning the optimal defect mitigation strategies proven the best performance when utilizing both knowledge sources. Numerical and real-world case studies in a fused filament fabrication (FFF) platform are performed and demonstrate the effectiveness of the proposed method.

研究动机与目标

• 解决由于工艺条件随时间变化而导致的增材制造中实时缺陷缓解的挑战。
• 减少在低产量、定制化增材制造生产中学习缺陷缓解策略所需的训练样本数量。
• 开发一种在线学习框架，将来自文献的离线知识与打印过程中获取的在线知识相结合。
• 提出一种无需模型的强化学习方法，能够动态适应增材制造过程中的新缺陷。
• 在模拟环境与真实世界熔融沉积成型（FFF）环境中验证所提方法的有效性。

提出的方法

• 该方法采用无模型强化学习方法，实时学习最优控制策略以实现缺陷缓解。
• 提出了一种名为持续G-学习的新算法，该算法整合了来自文献的离线知识与打印过程中获取的在线知识，以加速学习过程。
• 框架使用一种奖励函数，用于惩罚缺陷的发生并促进打印过程中的稳定性。
• 采用函数逼近技术表示策略函数与价值函数，从而在类似缺陷场景中实现泛化。
• 算法利用打印过程中收集的在线策略经验持续更新其策略。
• 采用知识蒸馏技术，将来自离线源的先验知识迁移至初始策略网络，从而降低样本复杂度。

实验结果

研究问题

• RQ1 强化学习框架能否在增材制造过程中实时有效缓解新出现的、不可预见的缺陷？
• RQ2 在打印过程中将基于文献的离线知识与在线学习相结合，能否提高缺陷缓解的样本效率？
• RQ3 同时使用两种知识源相比仅使用在线或仅使用离线知识，性能提升有多大？
• RQ4 所提出的持续G-学习算法在FFF打印中如何保持对多种缺陷类型的鲁棒性与适应性？
• RQ5 该方法在实现高缺陷缓解准确率的同时，能在多大程度上减少所需训练样本数量？

主要发现

• 所提出的持续G-学习方法通过有效结合离线与在线知识源，实现了最佳的缺陷缓解性能。
• 来自文献的先验知识整合显著减少了所需训练样本的数量，提升了样本效率。
• 在真实世界的FFF案例研究中，该方法成功以高可靠性缓解了打印过程中出现的先前未见的缺陷。
• 无模型强化学习方法在增材制造的动态与时变工艺条件下表现出强大的适应能力。
• 数值研究证实，该方法优于仅依赖在线学习或仅依赖离线知识的基线方法。
• 该框架在不同缺陷类型与打印场景中表现出稳健的泛化能力，验证了其在工业环境中的实际适用性。