[论文解读] Towards DeepSpray: Using Convolutional Neural Network to post-process Shadowgraphy Images of Liquid Atomization

Geoffroy Chaussonnet, Christian Lieber+7 more|arXiv (Cornell University)|Jan 1, 2019

Fluid Dynamics and Heat Transfer参考文献 25被引用 5

一句话总结

本文提出使用卷积神经网络（CNNs）来增强液滴雾化过程中阴影照相图像的后处理，解决了模糊、背景不均匀以及结构重叠等挑战。仅使用15张标注图像并结合基础数据增强技术进行训练，基于YOLO的检测器成功识别了实验和模拟数据中的主要破碎特征——丝状物、袋状物和边缘结构，即使训练数据有限，也表现出强大的泛化能力和鲁棒性。

ABSTRACT

This technical report investigates the potential of Convolutional Neural Networks to post-process images from primary atomization. Three tasks are investigated. First, the detection and segmentation of liquid droplets in degraded optical conditions. Second, the detection of overlapping ellipses and the prediction of their geometrical characteristics. This task corresponds to extrapolate the hidden contour of an ellipse with reduced visual information. Third, several features of the liquid surface during primary breakup (ligaments, bags, rims) are manually annotated on 15 experimental images. The detector is trained on this minimal database using simple data augmentation and then applied to other images from numerical simulation and from other experiment. In these three tasks, models from the literature based on Convolutional Neural Networks showed very promising results, thus demonstrating the high potential of Deep Learning to post-process liquid atomization. The next step is to embed these models into a unified framework DeepSpray.

研究动机与目标

• 解决传统基于阴影照相法在光学条件退化（如模糊和背景不均匀）下液滴检测的局限性。
• 克服标准技术（如LDT和PDA）的限制，这些技术要求液滴为球形，且在早期主要雾化阶段失效。
• 开发一种深度学习框架，用于检测和表征主要雾化过程中非球形液态结构（如丝状物、袋状物、边缘结构）。
• 证明训练好的检测器在不同实验配置和数值模拟之间的可迁移性。
• 为统一的深度学习工具箱DeepSpray奠定基础，以简化液滴雾化图像的后处理流程。

提出的方法

• 采用基于YOLO的目标检测模型，以识别和定位二维阴影照相图像中的液态结构。
• 在仅15张人工标注的实验图像组成的极小数据集上训练检测器，并使用简单的数据增强技术。
• 将模型应用于在退化光学条件下检测液滴，包括模糊和重叠结构。
• 利用校准图像生成的确定性相关图来建模模糊效应，从而增强网络对模糊的理解。
• 通过结合R2-CNN和YOLO架构，将模型扩展至检测重叠椭圆的几何特征。
• 通过将训练好的检测器应用于数值模拟和另一套实验设置（气流辅助圆柱形喷射），验证其泛化能力。

实验结果

研究问题

• RQ1 深度学习模型能否在仅使用极少训练数据的情况下，检测并分割在光学条件退化（如模糊和背景不均）下的阴影照相图像中的液滴？
• RQ2 当视觉信息减少时，基于CNN的检测器在多大程度上能外推重叠椭圆的几何参数？
• RQ3 在平面预喷雾雾化实验数据上训练的检测器，能否成功识别相同配置下数值模拟中的主要破碎特征？
• RQ4 该检测器在不同实验配置（如气流辅助圆柱形喷射）下的泛化能力如何？
• RQ5 仅使用有限数据训练的单一检测器，能否在多种液滴雾化场景中检测到关键特征（如丝状物、袋状物和边缘结构）？

主要发现

• 基于YOLO的检测器仅使用15张标注训练图像，即能准确检测实验阴影照相图像中的主要破碎特征（丝状物、袋状物和边缘结构）。
• 该模型成功检测到以二维阴影照相形式渲染的数值模拟结果中的类似特征，证实其对同一配置下合成数据的泛化能力。
• 尽管成像几何存在差异，该检测器在三维渲染的数值模拟中检测到29个特征中的22个，表明其对视角和阴影效应具有部分鲁棒性。
• 在气流辅助圆柱形喷射雾化中，检测器检测到29个总特征中的22个，证明其在不同配置间具有可迁移性，即使训练数据来自平面预喷雾。
• 该检测器在检测重叠椭圆及其几何特征方面表现优异，即使视觉信息减少也保持良好性能。
• 结果表明，深度学习模型可显著提升液滴雾化图像的后处理效果，尤其在光学条件恶劣的情况下，且仅需极少标注数据。