[论文解读] Real-time Hair Segmentation and Recoloring on Mobile GPUs

Andrei Tkachenka, Gregory Karpiak+5 more|arXiv (Cornell University)|Jul 15, 2019

Image Enhancement Techniques参考文献 4被引用 8

一句话总结

本文提出了一种轻量级、实时的神经网络，用于基于移动GPU的头发分割与逼真着色，通过使用四通道输入（RGB + 前一帧掩码）确保时序一致性。该方法在移动设备上实现了81.0%的IOU和30–100+ FPS的性能，使高保真AR头发特效得以在生产环境中大规模部署。

ABSTRACT

We present a novel approach for neural network-based hair segmentation from a single camera input specifically designed for real-time, mobile application. Our relatively small neural network produces a high-quality hair segmentation mask that is well suited for AR effects, e.g. virtual hair recoloring. The proposed model achieves real-time inference speed on mobile GPUs (30-100+ FPS, depending on the device) with high accuracy. We also propose a very realistic hair recoloring scheme. Our method has been deployed in major AR application and is used by millions of users.

研究动机与目标

• 在无深度传感器或绿幕的条件下，实现在移动GPU上的实时、高质量头发分割，用于AR应用。
• 通过轻量级、GPU优化的推理流水线，确保视频帧间分割掩码的时序一致性。
• 开发一种可适应不同发色和光照条件的逼真、自动头发着色技术。
• 设计一种适用于移动设备的模型，在多种设备上实现30+ FPS的运行速度，同时保持高精度。
• 为消费者AR应用中的虚拟染发功能，设计可扩展、可投入生产的解决方案。

提出的方法

• 模型使用四通道输入，结合RGB图像与前一帧的分割掩码，以强化时序一致性。
• 采用改进的hourglass架构，结合大步长卷积与跳跃连接，提升速度与精度，相比基线模型IOU提升5%。
• 对E-Net瓶颈层进行激进压缩（压缩因子达16–32），在不显著损失质量的前提下提升推理速度。
• 在全分辨率处添加DenseNet风格的卷积层，以细化边缘细节，使感知质量提升0.5% IOU。
• 采用两步式着色流水线，利用参考LUT对浅色与深色头发进行处理，根据输入图像的平均发色强度进行插值，实现逼真着色。
• 通过TFLite GPU实现端到端GPU加速，并使用自定义着色器完成亮度计算与LUT应用。

实验结果

研究问题

• RQ1 轻量级神经网络是否能在移动GPU上实现实时、高精度的头发分割？
• RQ2 在不使用LSTM或深度传感器的情况下，如何保持视频分割中的时序一致性？
• RQ3 实时移动推理中，实现最小延迟与高IOU的最优架构与训练策略为何？
• RQ4 能否在不同发色与光照条件下实现自动、逼真的头发着色？
• RQ5 将前一帧分割掩码作为输入上下文，对提升帧间一致性有多有效？

主要发现

• 模型在512×512全尺寸输入下达到81.0% IOU，iPhone XS上推理时间为5.7ms，Pixel 3上为19ms。
• 小型模型变体（256×256）在iPhone XS上实现80.2% IOU，仅需1.9ms推理时间，支持100+ FPS性能。
• 引入跳跃连接相比无跳跃连接的基线模型，IOU提升5%。
• 尽管仅带来0.5% IOU的增益，但在全分辨率处添加DenseNet风格层显著提升了感知质量。
• 基于LUT的着色方法在不同发色与光照条件下均能实现一致且逼真的颜色变化。
• 该系统已投入生产环境的AR应用中，被数百万用户使用，证明了其可扩展性与真实世界鲁棒性。