[论文解读] viz2viz: Prompt-driven stylized visualization generation using a diffusion model

Jiaqi Wu, John Joon Young Chung+1 more|arXiv (Cornell University)|Apr 4, 2023

Data Visualization and Analytics被引用 4

一句话总结

viz2viz 引入了一种基于提示驱动、扩散模型的框架，通过文本提示将基础图表（如柱状图、饼图、面积图、网络图）转换为逼真或艺术风格的视觉表现形式，实现对数据的视觉重构。该框架采用三步法——草图、合成与优化——结合可控扩散模型（如 ControlNet、img2img、DMP），在保持数据保真度的同时，实现高度的视觉一致性与创作灵活性。

ABSTRACT

Creating stylized visualization requires going beyond the limited, abstract, geometric marks produced by most tools. Rather, the designer builds stylized idioms where the marks are both transformed (e.g., photographs of candles instead of bars) and also synthesized into a 'scene' that pushes the boundaries of traditional visualizations. To support this, we introduce viz2viz, a system for transforming visualizations with a textual prompt to a stylized form. The system follows a high-level recipe that leverages various generative methods to produce new visualizations that retain the properties of the original dataset. While the base recipe is consistent across many visualization types, we demonstrate how it can be specifically adapted to the creation of different visualization types (bar charts, area charts, pie charts, and network visualizations). Our approach introduces techniques for using different prompts for different marks (i.e., each bar can be something completely different) while still retaining image "coherence." We conclude with an evaluation of the approach and discussion on extensions and limitations.

研究动机与目标

• 解决当前缺乏工具支持设计师创建风格化可视化的问题——即用复杂、真实或艺术化的表现形式（如蜡烛、咖啡杯、花朵）替代抽象标记（如柱状图、扇形图），同时保持数据语义的完整性。
• 克服现有生成模型（如 DALL-E2、Stable Diffusion）在从文本提示生成风格化可视化时难以维持数据对应关系的局限。
• 开发一种灵活且可复用的工作流程，将标记生成与场景构图解耦，实现跨多种可视化类型的一致应用，无需重新训练。
• 确保在将标记替换为语义复杂的对象（如用注射器表示数据值、用建筑表示柱状图）时，最终输出仍具备视觉连贯性与数据保真度。

提出的方法

• 该系统采用三阶段流程：(1) 草图——生成输入可视化结构的掩码化、简化的版本以保留整体结构；(2) 合成——利用扩散模型（如 Stable Diffusion）和控制机制（如 ControlNet、depth2Img）应用文本提示，生成风格化标记；(3) 优化——使用图像修复（inpainting）与后处理技术纠正不一致并提升整体连贯性。
• 提出一种自定义的 DMP（Diffusion Mark Prompting）流水线，通过同时基于原始标记形状与目标风格化对象的文本提示，引导扩散过程，实现对标记转换的精确控制。
• 该方法利用现有的可控扩散模型（如 img2img、ControlNet）保持原始数据与风格化输出之间的空间与结构对齐，确保数据比例（如饼图扇形大小、柱状图高度）得以保留。
• 通过掩码、平移与混合等图像处理技术，分离并转换单个标记，再将其重新组合为连贯的可视化整体。
• 在后处理中使用负面提示与参数调优（如 DMP 中的 beta 参数），以提升图像质量并减少伪影。
• 通过适配不同图表语义（如将柱状图表示为一排易拉罐、将网络节点表示为花朵），将该方法泛化至多种可视化类型。

实验结果

研究问题

• RQ1 能否有效引导扩散模型，将抽象的数据驱动视觉标记转化为复杂、风格化且逼真的表现形式（如蜡烛、咖啡杯），同时保持底层数据分布？
• RQ2 当在一个可视化中用语义丰富、非几何的对象（如过山车代替柱状图）替换多个标记时，如何保持视觉连贯性？
• RQ3 单一、可复用的工作流程（viz2viz 三步法）在不需重新训练或领域特定微调的前提下，能在多大程度上适配多种可视化类型（柱状图、面积图、饼图、网络图）？
• RQ4 中间控制机制（如 ControlNet、深度图、掩码）在生成可视化过程中，如何在创作自由与数据保真度之间取得平衡？
• RQ5 基于提示的风格化可视化生成的关键失败模式与局限性是什么？如何通过后处理与参数调优加以缓解？

主要发现

• viz2viz 框架在多种图表类型（柱状图、面积图、饼图、网络图）上成功生成风格化可视化，同时保持了数据保真度，定性示例显示比例关系正确（如饼图扇形与数据分数匹配）。
• 三步法流程——草图、合成、优化——即使在标记被替换为复杂对象（如咖啡杯、郁金香、城市景观）时，也能实现高度的视觉连贯性，结果中数据结构的失真极小。
• DMP（扩散标记提示）的使用实现了对单个标记的精准、提示驱动的转换，同时保持空间关系，与端到端扩散模型相比，显著提升了生成过程的控制力。
• 平均而言，每条提示生成高质量输出约需 10 次迭代，表明提示质量与参数调优至关重要，但系统默认配置与迭代优化步骤显著提升了成功率。
• 系统可能出现部分或完全失败，尤其当原始标记与目标对象在视觉或色彩对比度较高时（如黄色饼图扇形 → 红色披萨扇形），但生成后的图像修复（inpainting）可有效恢复此类失败。
• 局限性包括：由于前景-背景交互不良，难以生成某些信息丰富的图像（如图 2 中的礼帽）；在标记数量庞大时，扩散过程中的混合伪影导致难以扩展。