[论文解读] Multimodal Prediction and Personalization of Photo Edits with Deep Generative Models

Ardavan Saeedi, Matthew D. Hoffman+4 more|arXiv (Cornell University)|Apr 17, 2017

Image Retrieval and Classification Techniques参考文献 15被引用 5

一句话总结

本文提出了一种深度生成模型 CGM-SVAE，能够根据个体用户的偏好个性化地预测多样化且高质量的图片编辑。通过利用分层变分推断和用户聚类，该模型在新手、频繁用户和专家用户中均优于基线模型，在多模态编辑预测与个性化方面表现更优。

ABSTRACT

Professional-grade software applications are powerful but complicated$-$expert users can achieve impressive results, but novices often struggle to complete even basic tasks. Photo editing is a prime example: after loading a photo, the user is confronted with an array of cryptic sliders like "clarity", "temp", and "highlights". An automatically generated suggestion could help, but there is no single "correct" edit for a given image$-$different experts may make very different aesthetic decisions when faced with the same image, and a single expert may make different choices depending on the intended use of the image (or on a whim). We therefore want a system that can propose multiple diverse, high-quality edits while also learning from and adapting to a user's aesthetic preferences. In this work, we develop a statistical model that meets these objectives. Our model builds on recent advances in neural network generative modeling and scalable inference, and uses hierarchical structure to learn editing patterns across many diverse users. Empirically, we find that our model outperforms other approaches on this challenging multimodal prediction task.

研究动机与目标

• 解决在复杂软件应用（如图片编辑器）中提供多样化、高质量图片编辑建议的挑战。
• 克服现有模型仅生成单一预测或缺乏个性化的局限，实现多模态、用户自适应的编辑建议。
• 从历史数据中学习用户特定的编辑偏好，同时保持建议编辑的多样性。
• 开发一种可扩展、可解释的模型，以捕捉全局编辑模式和个体用户风格。

提出的方法

• 使用具有条件高斯混合（CGM）先验的结构化变分自编码器（SVAE），以建模用户特定的编辑偏好。
• 应用分层推断，联合建模图像特征和用户编辑行为，实现对用户群体的解耦表征。
• 通过神经网络实现近似推断，使模型能够扩展至大规模图像-编辑对数据集。
• 结合用户历史数据（0–30组图像-滑块对），推断聚类成员身份，并据此条件化个性化编辑预测。
• 使用变分下界（ELBO）在观测编辑的边缘似然上训练模型。
• 使用识别网络近似潜在用户聚类和编辑参数的后验分布。

实验结果

研究问题

• RQ1 深度生成模型能否生成反映多种有效审美选择的多样化、高质量图片编辑建议？
• RQ2 该模型在多大程度上能基于用户的编辑历史行为实现个性化编辑建议？
• RQ3 引入用户聚类在多大程度上提升了预测性能和建议的多样性？
• RQ4 在对数似然、分布相似性和图像质量方面，该模型与强基线模型相比表现如何？
• RQ5 所学习的用户聚类能否揭示用户编辑行为中的有意义模式？

主要发现

• CGM-VAE 模型在测试集上实现了最高的预测对数似然（−6.39 ± 0.11）和最低的 Jensen-Shannon 散度（0.10 ± 0.02），优于 MLP、LBN 和 MDN 基线模型。
• 在 LAB 误差度量上，CGM-VAE 实现了 6.72 ± 0.27，显著优于次佳基线模型（8.41 ± 0.27），在生成接近专家调色的图像方面表现更优。
• 该模型展现出强大的个性化能力：随着用户历史数据增加，预测对数似然提升，尤其专家用户从个性化推断中获益最多。
• 用户聚类揭示了不同的编辑偏好：例如，一组用户在婴儿照片上增加曝光和色温，而另一组则降低清晰度和饱和度。
• 该模型成功在不同用户群体中生成多样化编辑：例如，对于花卉照片，一组用户偏好低对比度和高饱和度，而另一组则增加曝光和饱和度。
• 补充结果证实，该模型捕捉到了有意义的用户行为模式，在多个图像集和用户类型中均表现出一致性能。