[论文解读] Smart Mirror: Intelligent Makeup Recommendation and Synthesis

Tam Nguyen, Luoqi Liu|arXiv (Cornell University)|Sep 22, 2017

Face recognition and analysis参考文献 7被引用 7

一句话总结

本文提出了一种智能镜子系统，通过学习模型将面部特征与化妆属性关联，实现个性化化妆推荐与逼真化妆效果合成。该系统结合面部关键点检测、区域特定色彩建模以及边缘保持滤波，可在输入的人脸图像上生成自然、个性化的化妆效果，为线上及线下美容购物体验提供实用解决方案。

ABSTRACT

The female facial image beautification usually requires professional editing softwares, which are relatively difficult for common users. In this demo, we introduce a practical system for automatic and personalized facial makeup recommendation and synthesis. First, a model describing the relations among facial features, facial attributes and makeup attributes is learned as the makeup recommendation model for suggesting the most suitable makeup attributes. Then the recommended makeup attributes are seamlessly synthesized onto the input facial image.

研究动机与目标

• 解决在线化妆品购物中个性化化妆推荐与效果可视化不足的问题。
• 开发一种基于个体面部特征与属性推荐合适化妆产品的系统。
• 通过区域化处理技术，实现对人脸图像的逼真、无缝化妆效果合成。
• 构建一个公开可用的数据集（BMD），用于面部化妆研究。
• 实现在现实场景中化妆推荐与合成技术的实用化、用户友好化应用。

提出的方法

• 从专业来源和社交媒体收集并整理了美容化妆数据集（BMD），保留了500张高质量、带化妆标注的正面人脸图像，且检测置信度高。
• 使用商用面部检测器提取87个面部关键点，并对人脸进行对齐，以实现一致的区域化分析。
• 设计了与化妆无关的面部特征与属性，以表征不受化妆影响的内在面部特征。
• 在BMD数据集上训练潜在SVM模型，学习面部特征、属性与对应化妆效果之间的映射关系，实现个性化推荐。
• 采用谱提取法提取眼影模板，并利用颜色聚类方法对每个面部区域的基础色、眼影色和口红色进行建模。
• 通过边缘保持滤波与区域特定色彩混合，无缝地将化妆效果合成到目标人脸，同时保留面部结构与纹理。

实验结果

研究问题

• RQ1 如何利用面部特征与属性预测个性化化妆推荐？
• RQ2 对个体化妆成分（如粉底、眼影、口红）进行建模与迁移的最有效方法是什么？
• RQ3 是否可以构建一个统一系统，将智能推荐与逼真合成相结合，用于实际美容应用？
• RQ4 如何构建大规模、高质量的面部化妆数据集以供研究使用？
• RQ5 基于学习的方法在不进行全局图像变换的情况下，能在多大程度上生成自然逼真的化妆效果？

主要发现

• 该系统成功利用在BMD数据集上训练的潜在SVM模型，学习了面部特征与化妆属性之间的映射关系。
• 采用区域化处理方法——尤其是眼影的谱提取与基础色、口红色的颜色聚类——实现了精确且局部化的化妆建模。
• 边缘保持滤波有效模拟了粉底的物理外观，实现了平滑自然的肤色过渡。
• 合成的化妆效果在视觉上逼真，并与面部区域无缝融合，如系统用户界面和视频演示所示。
• 最终的BMD数据集包含500张高质量、带标注的面部图像，为未来个性化化妆推荐与合成研究提供了有价值的基准。
• 该系统通过在单一用户友好界面中整合推荐与可视化功能，展示了在在线及线下化妆品购物中的实际应用价值。