[论文解读] Self-Correction for Human Parsing

Peike Li, Yunqiu Xu+2 more|arXiv (Cornell University)|Oct 22, 2019

Multimodal Machine Learning Applications被引用 48

一句话总结

本文提出 Self-Correction for Human Parsing (SCHP)，一个基于 Augmented-CE2P (A-CE2P) 的在线模型聚合与标签精炼框架，用来处理人类解析中的像素级标签噪声，在 LIP 和 Pascal-Person-Part 数据集上达到最新的最优结果。

ABSTRACT

Labeling pixel-level masks for fine-grained semantic segmentation tasks, e.g. human parsing, remains a challenging task. The ambiguous boundary between different semantic parts and those categories with similar appearance usually are confusing, leading to unexpected noises in ground truth masks. To tackle the problem of learning with label noises, this work introduces a purification strategy, called Self-Correction for Human Parsing (SCHP), to progressively promote the reliability of the supervised labels as well as the learned models. In particular, starting from a model trained with inaccurate annotations as initialization, we design a cyclically learning scheduler to infer more reliable pseudo-masks by iteratively aggregating the current learned model with the former optimal one in an online manner. Besides, those correspondingly corrected labels can in turn to further boost the model performance. In this way, the models and the labels will reciprocally become more robust and accurate during the self-correction learning cycles. Benefiting from the superiority of SCHP, we achieve the best performance on two popular single-person human parsing benchmarks, including LIP and Pascal-Person-Part datasets. Our overall system ranks 1st in CVPR2019 LIP Challenge. Code is available at https://github.com/PeikeLi/Self-Correction-Human-Parsing.

研究动机与目标

• 动机：解决细粒度人体解析中的像素级标注噪声。
• 提出一种自我纠正机制，能够联合精炼标签并提升模型。
• 开发一个增强架构（A-CE2P），以更好地利用边界信息。
• 展示在 LIP 和 Pascal-Person-Part 上的最新性能，并附有扎实的消融分析。

提出的方法

• 通过 L_consistent 项显式强制解析与边界一致性的 Augmented-CE2P（A-CE2P）框架。
• 复合损失：L_parsing = L_cls + L_mIoU（IoU 优化的代理）。
• 一致性约束 L_consistent 将预测边界与解析输出对齐。
• Self-Correction for Human Parsing (SCHP)：跨训练周期的在线模型聚合与在线伪标签精炼。
• 使用余弦退火循环学习率带热启动以推动迭代改进。
• Algorithm 1 实现在线模型聚合（权重平均）和标签精炼（伪标签平均）。

实验结果

研究问题

• RQ1 SCHP 是否能够通过联合精炼标签和模型来缓解细粒度人体解析中的标签噪声？
• RQ2 将 A-CE2P 架构与 SCHP 结合是否在标准基准上达到最新的 mIoU？
• RQ3 模型聚合与标签精炼对整体性能的贡献是什么？
• RQ4 边界一致性与以 IoU 为焦点的损失如何影响解析性能与边界精度？

主要发现

Method	mIoU
A-CE2P w/o SCHP	56.88
A-CE2P w/ SCHP	58.62
A-CE2P w/ SCHP †	59.36
A-CE2P w/o SCHP (Pascal)	70.63
A-CE2P w/ SCHP (Pascal)	71.46
A-CE2P w/ SCHP † (Pascal)	71.46

• SCHP 在 LIP 上达到新的最先进水平，mIoU 为 59.36（Table 1，最后一行带 SCHP）。
• 在 LIP 上，SCHP 相对于 CE2P 基线提高了 6.26 个点的 mIoU（文中描述）。
• 在 Pascal-Person-Part 上，SCHP 通过测试时增强将 mIoU 提升至 71.46。
• 消融研究表明模型聚合（MA）和标签精炼（LR）均有增益，二者结合效果最佳。
• 在不同骨干和上下文模块（PSP/ASPP/OCNet）下，A-CE2P 框架始终受益于 SCHP。
• 定性可视化表明，伪标签在循环中变得更平滑、与边界更对齐。