[论文解读] Unsupervised Learning of Artistic Styles with Archetypal Style Analysis

Daan Wynen, Cordelia Schmid+1 more|arXiv (Cornell University)|May 28, 2018

Aesthetic Perception and Analysis被引用 13

一句话总结

本文提出一种无监督方法，通过在艺术作品集合的深度特征上应用典型分析（archetypal analysis），实现艺术风格的自动发现、总结与操控。通过学习一组稀疏凸组合的典型风格（可解释为真实画作），该方法在改进的超参数控制优化方案下，实现了内容细节保留的风格迁移、增强与插值。

ABSTRACT

In this paper, we introduce an unsupervised learning approach to automatically discover, summarize, and manipulate artistic styles from large collections of paintings. Our method is based on archetypal analysis, which is an unsupervised learning technique akin to sparse coding with a geometric interpretation. When applied to deep image representations from a collection of artworks, it learns a dictionary of archetypal styles, which can be easily visualized. After training the model, the style of a new image, which is characterized by local statistics of deep visual features, is approximated by a sparse convex combination of archetypes. This enables us to interpret which archetypal styles are present in the input image, and in which proportion. Finally, our approach allows us to manipulate the coefficients of the latent archetypal decomposition, and achieve various special effects such as style enhancement, transfer, and interpolation between multiple archetypes.

研究动机与目标

• 从大规模绘画集合中自动发现并总结艺术风格，无需人工标注的标签。
• 利用典型分析，提供一种具有几何意义的可解释艺术风格表示。
• 通过修改典型分解的系数，实现灵活的风格操控（如增强、迁移与插值）。
• 通过引入可学习的、低维的典型风格潜在空间，扩展Li等人[11]的通用风格迁移方法。
• 将发现的风格与外部元数据（如艺术流派、时期）关联，以增强可解释性并提升实用性。

提出的方法

• 对来自绘画数据集的深度卷积特征（来自预训练VGG网络的激活值）应用典型分析。
• 将典型风格字典学习为数据集中实际图像风格的凸组合，从而实现可视化与可解释性。
• 通过优化深度特征统计量，将任意新图像的风格表示为这些典型原型的稀疏凸组合。
• 通过修改典型分解系数实现风格操控：增强（提高系数）、迁移（选择单一原型）或插值（组合多个原型）。
• 引入一种改进的优化更新规则，包含参数γ和δ，以提升风格化过程中的内容保留效果，其中γ = δ作为视觉上有效的启发式方法。
• 使用可学习的解码器将VGG特征反演，实现特征图的迭代去白化与重新着色，以重建风格化图像。

实验结果

研究问题

• RQ1 典型分析能否有效从大规模、未经筛选的绘画集合中发现并表示可解释的艺术风格？
• RQ2 与聚类或标准风格迁移相比，典型分解在风格操控的可解释性与灵活性方面有何优势？
• RQ3 所提出的含γ与δ的优化更新规则，是否相比先前方法能更有效地保留风格化图像中的内容细节？
• RQ4 典型风格操控在多大程度上能生成训练数据中未直接存在的新颖且有意义的艺术效果？
• RQ5 如何将典型风格与外部元数据（如艺术流派、时期）关联，以超越视觉外观增强其可解释性？

主要发现

• 该方法成功学习到一组可解释的典型风格，其对应于有意义的艺术特征，并可可视化为真实画作。
• 相比聚类，典型分解提供了更丰富的解释：每幅图像的风格被表示为多个原型的凸组合，揭示了混合的风格影响。
• 引入γ与δ的改进优化更新规则，显著提升了风格化图像中内容细节的保留效果，优于Li等人[11]的基线方法。
• 启发式γ = δ将自由参数数量减少至一个，简化了控制，同时保持了高质量的视觉效果。
• 通过系数增强实现的风格增强，可在风格化输出中产生明显且可控的变化，其中中间图（γ = δ = 0.5）与原始内容高度相似。
• 自由选择的原型之间进行插值可生成新颖的艺术效果，包括数据集中未直接存在的风格，展示了该方法的生成潜力。