[论文解读] Unified Perceptual Parsing for Scene Understanding

Tete Xiao, Yingcheng Liu+3 more|arXiv (Cornell University)|Jul 26, 2018

Advanced Image and Video Retrieval Techniques参考文献 31被引用 15

一句话总结

本文提出了统一感知解析（UPP）这一新任务，通过一种名为UPerNet的多任务框架，使深度神经网络能够联合分割并识别跨多个感知层级的视觉概念——场景、物体、部件、材质和纹理。该方法通过动态采样策略和层级特征融合，有效处理来自不同数据集的异质标注，实现最先进性能，并能从自然图像中发现丰富且符合人类认知的视觉知识。

ABSTRACT

Humans recognize the visual world at multiple levels: we effortlessly categorize scenes and detect objects inside, while also identifying the textures and surfaces of the objects along with their different compositional parts. In this paper, we study a new task called Unified Perceptual Parsing, which requires the machine vision systems to recognize as many visual concepts as possible from a given image. A multi-task framework called UPerNet and a training strategy are developed to learn from heterogeneous image annotations. We benchmark our framework on Unified Perceptual Parsing and show that it is able to effectively segment a wide range of concepts from images. The trained networks are further applied to discover visual knowledge in natural scenes. Models are available at \url{https://github.com/CSAILVision/unifiedparsing}.

研究动机与目标

• 开发一个统一框架，使深度学习模型能够同时解析多个感知层级（场景、物体、部件、材质和纹理）的视觉概念。
• 解决在来自不同数据集的异质图像标注（如像素级与图像级标签）上进行训练的挑战，而无需统一标注格式。
• 设计一种多任务学习框架，通过在每个训练迭代中动态采样数据源，以稳定梯度并提升泛化能力。
• 从训练后的模型中发现并提取结构化视觉知识，例如场景-物体、物体-材质和材质-纹理之间的关系。
• 在统一解析任务上对所提方法进行基准测试，并展示其从自然图像中推断丰富、语义有意义视觉先验的能力。

提出的方法

• 提出UPerNet，一种具有层级特征融合架构的多任务语义分割网络，通过不同语义层级的特征图处理各类视觉概念。
• 在训练期间采用动态数据采样策略：在每次迭代中，仅选择一个数据源，并仅更新对应的网络头和层，从而减少异质标注带来的梯度噪声。
• 在编码器各阶段使用多分支解码器，并结合早期、晚期和多尺度融合策略，以优化高层（场景）和低层（纹理、材质）概念的预测。
• 引入一种新型训练目标，仅使用图像级标注即可实现像素级纹理预测，利用伪标签和一致性正则化。
• 采用基于二分图的表示方法，对场景、物体、材质和纹理之间的关系进行建模与可视化，从而从模型预测中发现视觉知识。
• 使用共享主干网络（如ResNeXt）并搭配任务特定的头，每个头在具有特定标注类型的数据集上独立训练，从而实现跨任务的联合学习。

实验结果

研究问题

• RQ1 单一深度神经网络能否利用异质图像标注，同时预测多种视觉概念（如场景、物体、部件、材质和纹理）？
• RQ2 如何设计多任务学习框架，以应对混合标注类型（如像素级与图像级）带来的训练不稳定性，同时不降低性能？
• RQ3 在统一解析任务上训练的模型，在多大程度上能从自然图像中发现有意义的视觉知识，如场景-物体、物体-材质和材质-纹理关系？
• RQ4 仅使用图像级标注进行纹理标签训练的网络，是否仍能生成准确且语义一致的像素级纹理预测？
• RQ5 在不同语义层级上分层利用特征，如何提升在多个感知任务上的性能？

主要发现

• UPerNet在统一感知解析基准上达到最先进性能，能从单一图像输入中有效分割出广泛多样的视觉概念。
• 模型仅使用图像级标注即可成功预测像素级纹理标签，证明了所提自监督伪标签策略的有效性。
• 该框架成功发现合理视觉知识：例如，69%的桌面被预测为木质，31%为玻璃材质；77%的床头板为木质，23%为织物材质，与人类感知一致。
• 场景-物体关系揭示：室内场景通常包含天花板、地板、椅子和窗框；室外场景则包含天空、树木、建筑和山丘，人类制造与自然场景呈现清晰聚类。
• 物体-材质与部件-材质关系被准确推断：水槽多为陶瓷或金属材质，地板主要由木材、瓷砖或地毯构成，天花板与墙壁通常为涂漆材质。
• 材质-纹理关系被一致发现：例如，地毯常被描述为毛毡状、斑驳、有污渍、十字交叉或有凹槽，表明模型具备学习复杂、多层次视觉先验的能力。