[论文解读] Scene Labeling with Contextual Hierarchical Models

Mojtaba Seyedhosseini, Tolga Taşdizen|arXiv (Cornell University)|Feb 4, 2014

Advanced Neural Network Applications参考文献 62被引用 5

一句话总结

本文提出了一种上下文分层模型（CHM）用于场景标注，通过在多个图像分辨率上优化后验概率，利用一系列在下采样输入上训练的级联分类器实现。通过利用多分辨率上下文特征，而无需依赖形状模型或图像片段，CHM在场景标注、边缘检测和生物医学膜分割任务中均取得了最先进性能。

ABSTRACT

Scene labeling is the problem of assigning an object label to each pixel. It unifies the image segmentation and object recognition problems. The importance of using contextual information in scene labeling frameworks has been widely realized in the field. We propose a contextual framework, called contextual hierarchical model (CHM), which learns contextual information in a hierarchical framework for scene labeling. At each level of the hierarchy, a classifier is trained based on downsampled input images and outputs of previous levels. Our model then incorporates the resulting multi-resolution contextual information into a classifier to segment the input image at original resolution. This training strategy allows for optimization of a joint posterior probability at multiple resolutions through the hierarchy. Contextual hierarchical model is purely based on the input image patches and does not make use of any fragments or shape examples. Hence, it is applicable to a variety of problems such as object segmentation and edge detection. We demonstrate that CHM outperforms state-of-the-art on Stanford background and Weizmann horse datasets. It also outperforms state-of-the-art edge detection methods on NYU depth dataset and achieves state-of-the-art on Berkeley segmentation dataset (BSDS 500).

研究动机与目标

• 解决在保持计算可行性的同时，将长距离和多尺度上下文信息整合到场景标注中的挑战。
• 克服级联分类器缺乏多尺度处理能力且无法在不同分辨率间联合优化后验概率的局限性。
• 开发一种通用的标注框架，适用于图像分割、边缘检测和生物医学图像分析等多种任务，且无需依赖形状样本或物体模型。
• 通过在多个分辨率上顺序训练分类器，实现高效训练与推理，降低复杂度同时保持上下文准确性。
• 通过分层细化机制内在地建模大范围上下文窗口，从而最小化对后处理的依赖。

提出的方法

• 在逐步变粗糙的分辨率上训练一系列二分类器，使用下采样后的输入图像，并将前一层次的输出作为上下文特征。
• 以贪婪的分层方式在每一分辨率层级上优化联合后验概率，从而实现多尺度上下文推理。
• 使用图像块作为输入特征，而无需依赖预定义的形状片段、物体模型或分割提议。
• 将多分辨率预测结果整合到原始分辨率的最终分类器中，以生成高精度的像素级标注。
• 通过将边缘/非边缘视为二分类任务，将同一框架应用于语义场景标注和边缘检测。
• 利用分层结构逐步扩大有效感受野，高效捕获局部与全局上下文信息。

实验结果

研究问题

• RQ1 与单尺度或非分层方法相比，一种在多个分辨率上优化后验概率的分层框架是否能提升场景标注的准确性？
• RQ2 基于图像块且无需图像片段的模型在包括分割和边缘检测在内的多样化视觉任务中，能否实现最先进性能？
• RQ3 在生物医学图像分割任务中，CHM框架与深度神经网络（DNNs）和卷积神经网络（ConvNets）相比，在性能和训练效率方面表现如何？
• RQ4 对上下文信息进行分层建模是否能减少场景标注流程中对复杂后处理技术（如CRFs）的依赖？
• RQ5 缺乏形状模型或样本是否限制CHM的泛化能力，还是反而增强了其在多样化数据集上的适用性？

主要发现

• CHM在Stanford Background数据集上实现了最先进性能，显著优于现有方法的场景标注效果。
• 在Weizmann Horse数据集上，CHM实现了更优的分割精度，有效减少了假阳性，并填补了预测掩码中的小间隙。
• 在NYU Depth（v2）数据集的边缘检测任务中，CHM优于现有最先进边缘检测方法，展现出对真实世界深度图像的强大泛化能力。
• 在Berkeley Segmentation Dataset（BSDS500）上，CHM在边缘检测任务中达到最先进性能，证实其在多样化图像领域中的有效性。
• 在生物医学应用中，CHM在ISBI 2012 Drosophila VNC挑战赛测试集上的像素误差为0.063，优于人工标注误差（0.066），并超越了需要85小时GPU训练的深度神经网络。
• CHM在CPU上仅用30小时即可完成训练，远快于深度神经网络所需的85小时GPU训练，凸显其在保持高精度的同时的高效性。