[论文解读] Recognizing Material Properties from Images

Gabriel Schwartz, Ko Nishino|arXiv (Cornell University)|Jan 9, 2018

Industrial Vision Systems and Defect Detection参考文献 13被引用 6

一句话总结

本文提出一种方法，通过人类感知的弱监督（基于是/否比较问题）从图像块中识别视觉材质属性——如‘毛茸茸的’或‘闪亮的’等局部可识别属性。该方法提出了一种端到端的MAC-CNN框架，可自动发现未命名的、具有感知意义的属性，并利用这些属性在极少标注的情况下提升材质识别与零样本泛化能力，即使在样本极少时也能实现高精度。

ABSTRACT

Humans rely on properties of the materials that make up objects to guide our interactions with them. Grasping smooth materials, for example, requires care, and softness is an ideal property for fabric used in bedding. Even when these properties are not visual (e.g. softness is a physical property), we may still infer their presence visually. We refer to such material properties as visual material attributes. Recognizing these attributes in images can contribute valuable information for general scene understanding and material recognition. Unlike well-known object and scene attributes, visual material attributes are local properties with no fixed shape or spatial extent. We show that given a set of images annotated with known material attributes, we may accurately recognize the attributes from small local image patches. Obtaining such annotations in a consistent fashion at scale, however, is challenging. To address this, we introduce a method that allows us to probe the human visual perception of materials by asking simple yes/no questions comparing pairs of image patches. This provides sufficient weak supervision to build a set of attributes and associated classifiers that, while unnamed, serve the same function as the named attributes we use to describe materials. Doing so allows us to recognize visual material attributes without resorting to exhaustive manual annotation of a fixed set of named attributes. Furthermore, we show that this method may be integrated in the end-to-end learning of a material classification CNN to simultaneously recognize materials and discover their visual attributes. Our experimental results show that visual material attributes, whether named or automatically discovered, provide a useful intermediate representation for known material categories themselves as well as a basis for transfer learning when recognizing previously-unseen categories.

研究动机与目标

• 从局部图像块而非全局图像上下文出发，识别视觉材质属性，例如‘毛茸茸的’或‘闪亮的’。
• 通过人类感知的弱监督，解决命名材质属性手动标注的可扩展性挑战。
• 通过成对比较问题自动发现未命名的、具有感知相关性的视觉材质属性，避免依赖预定义的语义标签。
• 将属性发现整合进端到端的深度学习框架（MAC-CNN）中，实现材质分类与属性学习的联合优化。
• 评估所发现属性在零样本和少样本材质识别中的实用性，特别是针对之前未见过的类别。

提出的方法

• 使用成对的是/否问题（例如：'图像块A是否比图像块B更毛茸茸？'）收集人类对材质外观的弱监督信号。
• 利用此类弱监督学习一组未命名的、可局部识别的视觉材质属性，其与人类感知类别高度一致。
• 设计一个多属性分类卷积神经网络（MAC-CNN），从局部图像块中联合预测材质类别与视觉材质属性。
• 通过结合材质标注与弱属性监督，端到端训练MAC-CNN，实现联合优化。
• 在图像块上使用滑动窗口推理，生成每个像素的材质类别与视觉属性的概率图。
• 采用仅支持1个样本的少样本学习方法，使用线性SVM评估仅用少量样本和预测属性概率时对新类别的识别性能。

实验结果

研究问题

• RQ1 仅从局部图像块出发，能否准确识别视觉材质属性，如‘毛茸茸的’或‘闪亮的’？
• RQ2 能否仅通过人类感知的弱监督（无需预定义语义标签）自动发现未命名的视觉材质属性？
• RQ3 所发现的属性能否提升材质识别性能，尤其是在零样本或少样本设置下？
• RQ4 端到端的MAC-CNN框架在联合学习材质类别与视觉材质属性方面效果如何？
• RQ5 视觉材质属性在跨材质类别迁移学习中，作为中间表示的效用程度如何？

主要发现

• 视觉材质属性具有局部可识别性，仅使用小图像块即可实现高精度预测，即使缺乏全局上下文信息。
• 通过是/否比较问题实现的弱监督方法，成功发现了与人类感知类别一致的未命名视觉材质属性。
• MAC-CNN框架在材质识别与属性预测方面表现优异，结果表明属性提供了超越原始材质概率的新型判别性信息。
• 在少样本学习中，该方法在每个新类别仅使用10个训练样本时即可迅速达到性能稳定，展现出强大的泛化能力。
• 基于属性的分类方法优于仅使用材质或材质+属性拼接的基线模型，证实属性揭示了有意义且可迁移的特征。
• 该框架仅依赖局部信息即可生成像素级的材质概率图，即使缺乏完整的实例级分割，也表现出良好的鲁棒性。