[论文解读] Photo Stylistic Brush: Robust Style Transfer via Superpixel-Based Bipartite Graph

Jiaying Liu, Wenhan Yang+2 more|arXiv (Cornell University)|Jun 13, 2016

Generative Adversarial Networks and Image Synthesis参考文献 8被引用 3

一句话总结

本文提出 SuperBIG，一种基于样本的鲁棒图像风格化方法，采用两步超像素级二部图方法，实现复杂视觉风格（如色彩、色调和对比度）在图像间的迁移。通过利用层次化特征与全局超像素级匹配，SuperBIG 在视觉质量和一致性方面表现优异，在定性和定量评估中均优于当前最先进方法，尤其在夜间场景等具有挑战性的案例中表现突出。

ABSTRACT

With the rapid development of social network and multimedia technology, customized image and video stylization has been widely used for various social-media applications. In this paper, we explore the problem of exemplar-based photo style transfer, which provides a flexible and convenient way to invoke fantastic visual impression. Rather than investigating some fixed artistic patterns to represent certain styles as was done in some previous works, our work emphasizes styles related to a series of visual effects in the photograph, e.g. color, tone, and contrast. We propose a photo stylistic brush, an automatic robust style transfer approach based on Superpixel-based BIpartite Graph (SuperBIG). A two-step bipartite graph algorithm with different granularity levels is employed to aggregate pixels into superpixels and find their correspondences. In the first step, with the extracted hierarchical features, a bipartite graph is constructed to describe the content similarity for pixel partition to produce superpixels. In the second step, superpixels in the input/reference image are rematched to form a new superpixel-based bipartite graph, and superpixel-level correspondences are generated by a bipartite matching. Finally, the refined correspondence guides SuperBIG to perform the transformation in a decorrelated color space. Extensive experimental results demonstrate the effectiveness and robustness of the proposed method for transferring various styles of exemplar images, even for some challenging cases, such as night images.

研究动机与目标

• 解决现有风格迁移方法仅关注孤立元素（如色彩或纹理）的局限性，这些方法常无法在照片中保持整体视觉效果。
• 为非专业用户提供一种灵活、自动化的工具，实现从参考图像到输入图像的丰富、多维度摄影风格迁移。
• 通过将风格建模为包含色彩、对比度和光照的整体性、内容感知视觉效果，克服内容与风格之间可分性的假设。
• 提升风格迁移的鲁棒性与视觉质量，特别是在低光照或高对比度照片等具有挑战性的输入条件下。

提出的方法

• 利用密集对应关系和层次化特征（色彩、距离、纹理、块强度、梯度）构建像素级二部图，将输入图像和参考图像划分为超像素。
• 应用两步二部图算法：首先，利用层次化特征通过内容相似性形成初始超像素；其次，执行超像素级二部图匹配，建立全局对应关系。
• 通过全局重新匹配超像素来优化对应关系，确保整幅图像的一致性，并减少局部伪影。
• 在去相关色彩空间中执行风格转换，由优化后的超像素级对应关系引导，以解耦色彩与亮度效应。
• 利用深度匹配获得的置信度分数，优先处理可靠对应关系，提升在模糊区域的鲁棒性。
• 在层次化特征组合中整合多种基础特征（色彩、距离、纹理、块强度、梯度），以平衡局部一致性和全局连贯性。

实验结果

研究问题

• RQ1 与像素级或块级方法相比，基于超像素的二部图方法是否能提升样本式图像风格迁移的鲁棒性与视觉质量？
• RQ2 两步二部图框架在不同图像条件下，对整体摄影风格（包括色彩、色调和对比度）的保留效果如何？
• RQ3 层次化特征（如色彩、纹理、梯度等）在准确形成超像素和对应关系匹配方面贡献程度如何？
• RQ4 该方法是否能泛化到具有挑战性的摄影输入（如夜间场景或复杂光照条件下的图像）？

主要发现

• 在用户研究中，SuperBIG 的平均排名得分最低（1.15），显著优于六种对比方法，在感知质量和风格一致性方面表现更优。
• 消融研究证实，结合多种层次化特征（尤其是梯度和块强度）能显著提升视觉质量并减少错误迁移。
• 超像素级二部图匹配步骤有效减少了像素级对应关系结果中存在的局部不一致和伪影，如纹理化天空和错误色彩区域。
• 该方法在具有挑战性的夜间图像上表现出强鲁棒性，而其他方法在这些情况下无法保持风格连贯性或产生不自然结果。
• 层次化特征与全局优化的结合，使风格迁移更加准确且视觉上更合理，该结论得到了定量指标和用户偏好研究的双重验证。