[论文解读] Setting an attention region for convolutional neural networks using region selective features, for recognition of materials within glass vessels

Sagi Eppel|arXiv (Cornell University)|Aug 29, 2017

Industrial Vision Systems and Defect DetectionEngineering被引用 18

一句话总结

本文提出了一种卷积神经网络中的阀门滤波器机制，该机制可选择性地将不同的卷积滤波器应用于预定义的兴趣区域（ROI），例如玻璃器皿内部，以提升材料识别性能。通过使用二值化ROI图作为门控信号来控制特征提取，模型增强了对相关区域的关注，相较于无ROI引导的标准全卷积网络（FCN），在包含1,000张标注实验室玻璃器皿图像的新数据集上实现了更优的性能表现。

ABSTRACT

Convolutional neural networks have emerged as the leading method for the classification and segmentation of images. In some cases, it is desirable to focus the attention of the net on a specific region in the image; one such case is the recognition of the contents of transparent vessels, where the vessel region in the image is already known. This work presents a valve filter approach for focusing the attention of the net on a region of interest (ROI). In this approach, the ROI is inserted into the net as a binary map. The net uses a different set of convolution filters for the ROI and background image regions, resulting in a different set of features being extracted from each region. More accurately, for each filter used on the image, a corresponding valve filter exists that acts on the ROI map and determines the regions in which the corresponding image filter will be used. This valve filter effectively acts as a valve that inhibits specific features in different image regions according to the ROI map. In addition, a new data set for images of materials in glassware vessels in a chemistry laboratory setting is presented. This data set contains a thousand images with pixel-wise annotation according to categories ranging from filled and empty to the exact phase of the material inside the vessel. The results of the valve filter approach and fully convolutional neural nets (FCN) with no ROI input are compared based on this data set.

研究动机与目标

• 通过聚焦卷积神经网络对玻璃器皿内部区域的注意力，提升透明玻璃器皿中材料的识别性能。
• 解决透明容器内材料因对比度低、反射率可变及部分遮挡而带来的识别挑战。
• 开发一种基于可学习门控机制、根据空间区域动态调整特征提取的方法。
• 构建并发布一个大规模、像素级标注的玻璃器皿中材料数据集，用于基准测试。
• 将所提出的ROI感知网络与无ROI输入的标准全卷积网络（FCN）进行性能对比。

提出的方法

• 使用二值化ROI图作为输入，指定需要集中注意力的区域（如器皿内部）。
• 针对每个标准卷积滤波器，引入相应的“阀门滤波器”，根据ROI图调节滤波器的应用。
• 阀门滤波器作为可学习门控机制，根据ROI图抑制或激活特定图像区域的特征激活。
• 网络采用独立的特征提取路径分别处理ROI区域与背景区域，实现区域特定的表征学习。
• 将该方法集成到全卷积神经网络（FCN）框架中，以保持空间分辨率并支持密集预测。
• 在新数据集上使用像素级交叉熵损失进行端到端训练，数据集包含多类材料的标注。

实验结果

研究问题

• RQ1 区域选择性注意力机制是否能提升透明玻璃器皿中材料识别的准确率？
• RQ2 具有ROI引导特征学习的CNN相较于无ROI输入的标准FCN，性能表现如何？
• RQ3 所提出的阀门滤波器机制在提升器皿内部特征区分度方面，相较于背景区域的增强程度如何？
• RQ4 该新数据集在支持实验室玻璃器皿成像中注意力模型的训练与评估方面是否有效？
• RQ5 将二值化ROI图作为门控信号，是否能带来更鲁棒且泛化能力更强的特征学习？

主要发现

• 所提出的阀门滤波器方法在新数据集上显著优于无ROI输入的标准FCN，表现出更高的分割准确率。
• 在“填充”、“空置”以及“液体”和“固体”等相态特定类别上，模型实现了更高的平均交并比（mIoU）。
• 使用区域选择性特征有效减少了背景干扰，并提升了在低对比度条件下器皿内部的特征清晰度。
• 包含1,000张图像与像素级标注的新数据集在训练和评估基于注意力的实验室成像模型方面表现出良好效果。
• 阀门滤波器机制使网络能够学习到器皿区域与背景区域不同的特征表征，从而提升了定位精度。
• 消融实验证实，ROI引导的注意力机制是性能提升的关键因素，而非单纯的样本增强或网络结构改动。