[论文解读] Semi-supervised Skin Detection by Network with Mutual Guidance
本文提出一种半监督双任务神经网络，通过解码器之间的相互引导，联合检测肖像图像中的皮肤和人体，显著提升了皮肤检测的准确性，且无需大规模标注的皮肤数据。该方法利用人体分割作为弱监督信号，通过新颖的半监督损失函数和梯度停止策略实现最先进性能，在所提出的数据集上达到81.18%的IoU。
In this paper we present a new data-driven method for robust skin detection from a single human portrait image. Unlike previous methods, we incorporate human body as a weak semantic guidance into this task, considering acquiring large-scale of human labeled skin data is commonly expensive and time-consuming. To be specific, we propose a dual-task neural network for joint detection of skin and body via a semi-supervised learning strategy. The dual-task network contains a shared encoder but two decoders for skin and body separately. For each decoder, its output also serves as a guidance for its counterpart, making both decoders mutually guided. Extensive experiments were conducted to demonstrate the effectiveness of our network with mutual guidance, and experimental results show our network outperforms the state-of-the-art in skin detection.
研究动机与目标
- 为解决基于深度学习的皮肤检测中大规模标注皮肤掩码的高昂成本问题。
- 通过将人体分割作为弱语义引导，提升皮肤检测性能。
- 开发一种半监督训练策略，实现在部分真实标签缺失情况下的皮肤与人体检测联合学习。
- 证明皮肤与人体解码器之间的相互引导可增强检测的鲁棒性与准确性。
- 发布一个包含5,000张皮肤掩码和5,711个人体掩码的新数据集，以支持未来研究。
提出的方法
- 采用共享编码器和两个独立解码器的双任务神经网络，分别用于皮肤和人体检测。
- 每个解码器的输出作为另一个解码器的引导信号，形成循环相互引导机制。
- 设计了一种新颖的半监督损失函数，用于处理仅包含皮肤或仅包含人体真实标签的训练样本。
- 应用梯度停止策略，防止网络在训练过程中收敛到平凡解。
- 采用定制化训练策略，交替优化皮肤和人体分支并引入引导信号。
- 主干网络具有灵活性，消融实验中分别采用U-Net和DeepLab-v3与MobileNet组合。
实验结果
研究问题
- RQ1人体分割掩码能否作为有效的弱监督信号，以提升皮肤检测性能？
- RQ2皮肤与人体检测分支之间的相互引导如何增强模型的鲁棒性与准确性？
- RQ3在仅部分真实标签可用的情况下，何种训练策略可实现有效的半监督学习？
- RQ4梯度停止策略如何防止在相互引导框架中收敛到平凡局部极小值？
- RQ5初始引导（如来自GMM或边界框）在多大程度上能提升训练稳定性和最终性能？
主要发现
- 所提方法在所提出数据集上达到81.18%的IoU，优于当前最先进方法。
- 启用相互引导后，IoU相比无相互引导的基线模型提升3.87%。
- 即使仅使用1,000张皮肤样本，模型仍保持强劲性能，在不平衡数据集上训练时达到75.15%的IoU。
- 梯度停止策略降低了收敛到平凡解的风险，提升了召回率，同时保持高精确率。
- 提供信息丰富的初始引导（如来自GMM或边界框）可将性能提升至80.74%的IoU，超过零初始化基线。
- 微调进一步提升了验证集上的IoU，证实了在该半监督设置下迁移学习的有效性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。