[论文解读] Zoom Better to See Clearer: Human Part Segmentation with Auto Zoom Net.

Fangting Xia, Peng Wang+2 more|arXiv (Cornell University)|Nov 21, 2015

Advanced Neural Network Applications被引用 32

一句话总结

本文提出 Auto-Zoom Net (AZN)，一种统一的全卷积神经网络，通过联合预测实例位置/尺度并结合自适应缩放迭代优化人体部件分割。该方法显著提升了精度，尤其在小尺度部件上表现突出，在 PASCAL-Person-Part 上超越了当前最先进模型，并在马和牛的分割基准上实现了超过 5% 的性能提升。

ABSTRACT

Parsing human regions into semantic parts, e.g., body, head and arms etc., from a random natural image is challenging while fundamental for computer vision and widely applicable in industry. One major difficulty to handle such a problem is the high flexibility of scale and location of a human instance and its corresponding parts, making the parsing task either lack of boundary details or suffer from local confusions. To tackle such problems, in this work, we propose the Auto-Zoom Net (AZN) for human part parsing, which is a unified fully convolutional neural network structure that: (1) parses each human instance into detailed parts. (2) predicts the locations and scales of human instances and their corresponding parts. In our unified network, the two tasks are mutually beneficial. The score maps obtained for parsing help estimate the locations and scales for human instances and their parts. With the predicted locations and scales, our model zooms the region into a right scale to further refine the parsing. In practice, we perform the two tasks iteratively so that detailed human parts are gradually recovered. We conduct extensive experiments over the challenging PASCAL-Person-Part segmentation, and show our approach significantly outperforms the state-of-art parsing techniques especially for instances and parts at small scale. In addition, we perform experiments for horse and cow segmentation and also obtain results which are considerably better than state-of-the-art methods (by over 5%)., which is contribued by the proposed iterative zooming process.

研究动机与目标

• 解决自然图像中人体尺度和位置高度可变的问题，该问题阻碍了精确的部件分割。
• 克服因尺度和空间灵活性导致的边界细节丢失和局部混淆问题。
• 开发一种统一的深度学习框架，联合预测人体实例的位置/尺度并优化部件分割。
• 基于预测的尺度和位置，通过自适应缩放实现部件分割的迭代优化。
• 在小尺度人体部件上实现卓越性能，并可推广至马、牛等其他动物物种。

提出的方法

• 设计一种统一的全卷积神经网络，同时执行人体部件分割和实例尺度/位置预测。
• 利用分割得分图来估计人体实例及其部件的位置和尺度。
• 基于预测的尺度和位置，对感兴趣区域应用自适应缩放以提升特征分辨率。
• 通过将网络重新应用于缩放后的区域，迭代优化分割结果，以恢复细粒度细节。
• 使用联合损失函数（结合分割与定位监督）进行端到端训练。
• 利用多尺度特征和空间注意力机制，提升对尺度变化和遮挡的鲁棒性。

实验结果

研究问题

• RQ1 联合预测人体实例的尺度和位置是否能提升人体部件分割的准确性？
• RQ2 基于预测的尺度和位置进行迭代缩放，是否能增强小尺度人体部件的边界细节恢复？
• RQ3 所提出的方法是否能推广到人类以外的动物物种，如马和牛？
• RQ4 Auto-Zoom Net 在 PASCAL-Person-Part 等具有挑战性的基准上的性能与当前最先进方法相比如何？
• RQ5 迭代缩放机制在多大程度上减少了局部混淆并提升了分割的一致性？

主要发现

• Auto-Zoom Net 在 PASCAL-Person-Part 基准上显著优于当前最先进方法，尤其在小尺度人体部件上表现突出。
• 该模型在马和牛的分割任务上 mAP 超过现有方法 5% 以上，展现出强大的泛化能力。
• 迭代缩放实现了部件边界的渐进式优化，生成了更精确、更细致的分割图。
• 尺度与位置的联合预测提升了定位准确性，从而改善了缩放后特征的质量。
• 采用端到端训练的统一网络架构在性能上优于级联或分离式方法。
• 该方法对尺度变化和遮挡具有鲁棒性，在复杂、杂乱的场景中仍能保持高性能。