[论文解读] The Automated Inspection of Opaque Liquid Vaccines

Gregory Palmer, Benjamin Schnieders+4 more|arXiv (Cornell University)|Feb 21, 2020

Image Processing Techniques and Applications参考文献 30被引用 5

一句话总结

该论文提出了一种基于深度学习的自动化检测系统，用于检测不透明液体疫苗中的颗粒物，采用3D-ConvNets分析20帧视频序列。通过利用帧补全生成对抗网络（Frame-Completion GANs）生成显著性图，并结合一种新颖的自训练方法与多分类器投票机制，该方法对少量人工标注数据集进行数据增强，在正样本和负样本上均实现了0.96的AUROC，优于初始的0.94和0.93得分。

ABSTRACT

In the pharmaceutical industry the screening of opaque vaccines containing suspensions is currently a manual task carried out by trained human visual inspectors. We show that deep learning can be used to effectively automate this process. A moving contrast is required to distinguish anomalies from other particles, reflections and dust resting on a vial's surface. We train 3D-ConvNets to predict the likelihood of 20-frame video samples containing anomalies. Our unaugmented dataset consists of hand-labelled samples, recorded using vials provided by the HAL Allergy Group, a pharmaceutical company. We trained ten randomly initialized 3D-ConvNets to provide a benchmark, observing mean AUROC scores of 0.94 and 0.93 for positive samples (containing anomalies) and negative (anomaly-free) samples, respectively. Using Frame-Completion Generative Adversarial Networks we: (i) introduce an algorithm for computing saliency maps, which we use to verify that the 3D-ConvNets are indeed identifying anomalies; (ii) propose a novel self-training approach using the saliency maps to determine if multiple networks agree on the location of anomalies. Our self-training approach allows us to augment our data set by labelling 217,888 additional samples. 3D-ConvNets trained with our augmented dataset improve on the results we get when we train only on the unaugmented dataset.

研究动机与目标

• 自动化检测不透明液体疫苗中悬浮颗粒的目视检查过程，该过程目前存在错误率高且耗时的问题。
• 开发一种深度学习框架，能够检测在安瓿瓶旋转过程中出现的瞬态异常现象。
• 通过引入一种自训练方法，利用帧补全生成对抗网络（FC-GANs）生成的显著性图自动标注217,888个额外训练样本，以应对数据稀缺问题。
• 通过显著性图验证模型可解释性，确认预测结果基于实际异常而非伪影或噪声。
• 通过数据增强与模型微调，提升分类性能，超越基于人工标注的基线模型。

提出的方法

• 搭建了一套定制的自动安瓿瓶旋转装置（AVR），以标准化安瓿瓶旋转过程，并生成160个安瓿瓶的20帧序列视频记录。
• 通过人工标注20帧视频片段中是否存在异常，构建了包含14,000个训练样本和6,000个评估样本的数据集。
• 在未增强的数据集上训练了十个随机初始化的3D-ConvNets，作为基线模型，其AUROC得分分别为0.94（正样本）和0.93（负样本）。
• 采用帧补全生成对抗网络（FC-GANs）计算显著性图，识别对模型预测影响最大的输入区域。
• 开发了一套自训练流程，结合多分类器投票系统与FC-GAN显著性图，以减少噪声标签传播，并识别可靠的新增训练样本。
• 最终模型在原始数据集基础上，通过加入217,888个自标注样本进行训练，使正负两类样本的AUROC均提升至0.96。

(a) Reflection

实验结果

研究问题

• RQ1 3D-ConvNets能否有效利用短时视频序列检测不透明液体疫苗悬浮液中的瞬态异常？
• RQ2 帧补全生成对抗网络（FC-GANs）能否生成可靠的显著性图，以验证模型预测基于实际异常而非伪影？
• RQ3 基于显著性图引导的自训练方法是否能提升小规模人工标注疫苗检测视频数据集的性能？
• RQ4 在自动化疫苗检测中，排除运动模糊帧在多大程度上能提高分类准确率？
• RQ5 利用显著性图上多分类器一致性构建的自训练流程，能否降低合成标签中的噪声并提升模型泛化能力？

主要发现

• 初始3D-ConvNet基线模型在正样本（含异常）上达到0.94的AUROC，在负样本（无异常）上达到0.93，表现出强劲的基线性能。
• 从训练中排除运动模糊帧后，分类准确率得到提升，表明运动模糊会负面影响模型学习。
• 通过帧补全生成对抗网络生成的显著性图确认，模型聚焦于相关区域，验证了预测基于实际异常而非伪影。
• 自训练方法成功利用基于显著性图的投票系统，自动标注了217,888个额外的20帧视频样本，显著降低了噪声标签风险。
• 在增强数据集上训练的3D-ConvNets在正负样本上均实现了0.96的AUROC，优于未增强数据集的基线模型。
• 结果表明，自动化检测系统在一致性和可扩展性方面可达到甚至超越人工检测水平，尤其在高产量生产场景下更具优势。

(b) Bubbles