[论文解读] MultiVis-Agent: A Multi-Agent Framework with Logic Rules for Reliable and Comprehensive Cross-Modal Data Visualization

Jinwei Lu, Yuanfeng Song+2 more|arXiv (Cornell University)|Jan 26, 2026

Data Visualization and Analytics被引用 0

一句话总结

MultiVis-Agent 提出一个带逻辑规则的多代理框架，用于在四个场景中实现可靠的跨模态可视化生成，具备基准测试并相对于基线有显著经验提升。

ABSTRACT

Real-world visualization tasks involve complex, multi-modal requirements that extend beyond simple text-to-chart generation, requiring reference images, code examples, and iterative refinement. Current systems exhibit fundamental limitations: single-modality input, one-shot generation, and rigid workflows. While LLM-based approaches show potential for these complex requirements, they introduce reliability challenges including catastrophic failures and infinite loop susceptibility. To address this gap, we propose MultiVis-Agent, a logic rule-enhanced multi-agent framework for reliable multi-modal and multi-scenario visualization generation. Our approach introduces a four-layer logic rule framework that provides mathematical guarantees for system reliability while maintaining flexibility. Unlike traditional rule-based systems, our logic rules are mathematical constraints that guide LLM reasoning rather than replacing it. We formalize the MultiVis task spanning four scenarios from basic generation to iterative refinement, and develop MultiVis-Bench, a benchmark with over 1,000 cases for multi-modal visualization evaluation. Extensive experiments demonstrate that our approach achieves 75.63% visualization score on challenging tasks, significantly outperforming baselines (57.54-62.79%), with task completion rates of 99.58% and code execution success rates of 94.56% (vs. 74.48% and 65.10% without logic rules), successfully addressing both complexity and reliability challenges in automated visualization generation.

研究动机与目标

• 将文本到可视化的能力扩展到多模态输入（文本、图像、代码）并进行迭代改进以反映真实世界工作流。
• 通过形式化逻辑约束和集中协调器，确保由大型语言模型驱动的可视化的可靠性。
• 形式化四种可视化场景并发布带可执行 Python 代码的基准测试（MultiVis-Bench）。
• 在可视化质量、任务完成度和代码执行成功率方面，相较基线展示显著的经验提升。

提出的方法

• 提出一个四层逻辑规则框架（CR、TE、EH、RC）以引导LLM推理而非替代它。
• 实现一个集中式协调代理（Coordinator Agent），协调数据库与查询、可视化实现，以及验证与评估代理。
• 形式化四种 MultiVis 场景（基本生成、图像参照生成、代码参照生成、迭代改进），并构建包含 1,202 例、覆盖 127 种图表类型和 141 个数据库的 MultiVis-Bench。
• 通过形式化定理为参数安全、错误恢复和终止提供数学保证。
• 在基准测试中评估并报告可视化分数、任务完成度和代码执行成功率的改进。

Figure 1 . Real-world visualization tasks require multi-modal inputs and iterative refinement. Current Text-to-Vis systems fail to support these scenarios.

实验结果

研究问题

• RQ1 多代理框架结合逻辑规则如何提升多模态可视化生成的可靠性和质量？
• RQ2 为现实化的可视化任务需要哪些额外输入（图像、代码）以及迭代改进工作流？
• RQ3 形式化逻辑约束能否保证由LLM驱动的可视化管线的安全、可终止和可恢复执行？
• RQ4 在四个定义的 MultiVis 场景下，MultiVis-Agent 相较基线的表现如何？
• RQ5 四层逻辑规则框架对完成率和执行成功率有何影响？

主要发现

• 在具挑战性的图像参照生成任务中，使用 MultiVis-Agent 的可视化分数达到 75.63%。
• 同一任务上，基线为 62.79%（LLM 工作流）和 57.54%（指令化 LLM）。
• 任务完成率在 MultiVis-Agent 下达到 99.58%。
• 代码执行成功率为 94.56%，而基线在无逻辑规则时分别为 74.48% 与 65.10%。
• 逻辑规则在各任务中带来 17.58–31.70 个百分点的提升。
• 带有逻辑规则的 MultiVis-Agent 在完成度和正确性指标上均优于同一框架但无逻辑规则的版本。

Figure 3 . An example for the working process of MultiVis-Agent.