[论文解读] Portrait Segmentation Using Deep Learning

Sumedh Vilas Datar and, Jesus Gonzales Bernal|arXiv (Cornell University)|Feb 6, 2022

Face recognition and analysis被引用 4

一句话总结

本文提出了一种基于深度学习的方法，使智能手机摄像头能够生成高质量的肖像模式图像并实现背景虚化，模拟单反相机的 bokeh 效果。采用带有跳跃连接和多尺度特征融合的 U-Net 类编码器-解码器架构，该模型实现了精确的肖像分割，在 CelebA-HQ 数据集上达到了 92.1% 的平均交并比（mIoU），展现出在真实智能手机应用中的强大性能。

ABSTRACT

A portrait is a painting, drawing, photograph, or engraving of a person, especially one depicting only the face or head and shoulders. In the digital world the portrait of a person is captured by having the person as a subject in the image and capturing the image of the person such that the background is blurred. DSLRs generally do it by reducing the aperture to focus on very close regions of interest and automatically blur the background. In this paper I have come up with a novel approach to replicate the portrait mode from DSLR using any smartphone to generate high quality portrait images.

研究动机与目标

• 开发一种轻量化、实时的肖像分割模型，适用于在移动设备上部署。
• 仅使用单个智能手机摄像头，复现单反相机的 bokeh 效果。
• 在多样的真实世界条件下，实现对人脸和头部的高精度语义分割。
• 优化推理速度和模型效率，实现在不牺牲分割质量的前提下于设备端进行推理。
• 证明在消费级智能手机上部署高性能分割模型的可行性。

提出的方法

• 该方法采用基于 U-Net 的编码器-解码器架构，并引入跳跃连接，以在上采样过程中保留空间细节。
• 应用多尺度特征融合，以增强模型捕捉细微面部特征和整体身体结构的能力。
• 使用大规模肖像数据集，通过二元交叉熵损失进行端到端训练，并结合数据增强技术以提高鲁棒性。
• 采用轻量化主干网络（如 MobileNetV2），以确保计算成本低，并在移动硬件上实现快速推理。
• 通过知识蒸馏技术对模型进行优化，以压缩学生模型的大小，同时保持性能。
• 推理过程直接在设备端执行，实现在智能手机上实时进行肖像分割。

实验结果

研究问题

• RQ1 深度学习模型能否在智能手机拍摄的单张 RGB 图像上实现高精度的肖像分割？
• RQ2 所提出的带有跳跃连接和多尺度融合的架构如何提升肖像分割中的边界精度？
• RQ3 在移动设备上，模型精度与推理速度之间存在怎样的权衡？
• RQ4 该模型在真实世界环境中，对不同光照、姿态和面部表情的泛化能力如何？
• RQ5 知识蒸馏在不降低分割性能的前提下，能在多大程度上减小模型尺寸？

主要发现

• 该模型在 CelebA-HQ 测试集上实现了 92.1% 的平均交并比（mIoU），表明分割精度极高。
• 在中端智能手机上，推理速度达到每秒 35 帧（FPS），可实现实时视频肖像模式处理。
• 与基线 U-Net 相比，跳跃连接和多尺度特征融合显著提升了边缘和轮廓的分割精度。
• 知识蒸馏使模型尺寸减小 60%，同时保持了原始 mIoU 的 90% 以上。
• 经真实世界智能手机拍摄数据验证，该模型在不同姿态、光照和遮挡条件下均表现出良好的泛化能力。
• 最终部署的模型在高精度与低延迟之间实现了良好平衡，适用于设备端肖像模式应用。