[论文解读] Zoom Better to See Clearer: Human and Object Parsing with Hierarchical Auto-Zoom Net

Fangting Xia, Peng Wang+2 more|arXiv (Cornell University)|Nov 21, 2015

Multimodal Machine Learning Applications参考文献 47被引用 13

一句话总结

本文提出分层自动缩放网络（HAZN），一种两阶段全卷积网络，可自适应地将图像区域缩放到最适合人类和动物部位分割的尺度。通过先估计物体尺度，再通过尺度自适应缩放优化部件级分割，HAZN在PASCAL数据集上的mIOU相比最先进方法提升5%，尤其在小尺寸实例和细粒度部件边界上表现优异。

ABSTRACT

Parsing articulated objects, e.g. humans and animals, into semantic parts (e.g. body, head and arms, etc.) from natural images is a challenging and fundamental problem for computer vision. A big difficulty is the large variability of scale and location for objects and their corresponding parts. Even limited mistakes in estimating scale and location will degrade the parsing output and cause errors in boundary details. To tackle these difficulties, we propose a "Hierarchical Auto-Zoom Net" (HAZN) for object part parsing which adapts to the local scales of objects and parts. HAZN is a sequence of two "Auto-Zoom Net" (AZNs), each employing fully convolutional networks that perform two tasks: (1) predict the locations and scales of object instances (the first AZN) or their parts (the second AZN); (2) estimate the part scores for predicted object instance or part regions. Our model can adaptively "zoom" (resize) predicted image regions into their proper scales to refine the parsing. We conduct extensive experiments over the PASCAL part datasets on humans, horses, and cows. For humans, our approach significantly outperforms the state-of-the-arts by 5% mIOU and is especially better at segmenting small instances and small parts. We obtain similar improvements for parsing cows and horses over alternative methods. In summary, our strategy of first zooming into objects and then zooming into parts is very effective. It also enables us to process different regions of the image at different scales adaptively so that, for example, we do not need to waste computational resources scaling the entire image.

研究动机与目标

• 解决自然图像中人类、马和牛等物体在部件分割任务中因尺度和位置变化大所带来的挑战。
• 通过使网络推理适应局部尺度，提升分割精度，特别是针对小尺度物体和细粒度部件。
• 通过仅对图像不同区域以不同尺度处理，而非统一缩放整幅图像，减少计算资源浪费。
• 实现在无需依赖固定尺度特征提取或预定义提议框的前提下，端到端的、尺度自适应的分割。

提出的方法

• HAZN使用两个连续的自动缩放网络（AZNs），每个均基于全卷积网络（FCNs），用于预测物体和部件的位置与尺度。
• 第一个AZN检测物体实例并估计其置信度得分的边界框，随后通过双线性插值或下采样将其缩放到固定尺度。
• 第二个AZN应用于缩放后的物体区域，以预测部件级边界框，并在适当尺度下优化部件得分图。
• 最终的FCN处理缩放后的部件区域，生成精细化、高分辨率的部件分割图。
• 通过在多级粒度上利用尺度自适应特征学习，联合优化尺度估计与分割任务。
• 通过仅聚焦于相关且经尺度优化的区域，避免全局缩放，从而提升效率与精度。

实验结果

研究问题

• RQ1 自适应尺度估计是否能提升在尺度和位置变化大的物体上进行部件分割的性能？
• RQ2 对物体进行分层缩放，再对其中的部件进一步缩放，是否能比固定尺度方法更有效地恢复边界和部件细节？
• RQ3 所提出的方法是否能超越人类，泛化到其他关节式动物（如马和牛）？
• RQ4 尺度自适应对小尺寸实例和小部件的性能影响如何？这些通常对标准网络构成挑战。

主要发现

• 在PASCAL-Person-Part数据集上，HAZN在人体分割任务中相比最先进方法实现了5%的mIOU提升。
• 该模型在小尺度人体实例上显著优于基线模型，能准确恢复如小臂和小腿等精细细节。
• 在马和牛数据集上，HAZN相比之前最先进方法将mIOU提升了约5%，在如尾巴和头部等小部件上提升超过10%。
• 可视化结果表明，边界更清晰，与背景或相邻部件的局部混淆显著减少，尤其在复杂姿态或遮挡情况下表现更优。
• 该方法通过仅在相关区域应用尺度自适应，而非对整幅图像统一处理，有效减少了计算资源浪费。