[论文解读] TIFA: Accurate and Interpretable Text-to-Image Faithfulness Evaluation with Question Answering

Yushi Hu, Benlin Liu+5 more|arXiv (Cornell University)|Mar 21, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

TIFA 提出了一种无需参考、可解释的文本到图像生成忠实度评估指标，通过从文本输入生成问题-答案对，并评估视觉问答（VQA）模型能否基于生成的图像正确回答这些问题。该方法与人类判断的相关性达到 0.60（Spearman’s ρ），显著优于 CLIPScore（0.33）和基于字幕的指标（0.34），揭示了尽管在色彩和材质生成方面取得进展，但在计数、空间推理和多对象组合方面仍存在持续性失败。

ABSTRACT

Despite thousands of researchers, engineers, and artists actively working on improving text-to-image generation models, systems often fail to produce images that accurately align with the text inputs. We introduce TIFA (Text-to-Image Faithfulness evaluation with question Answering), an automatic evaluation metric that measures the faithfulness of a generated image to its text input via visual question answering (VQA). Specifically, given a text input, we automatically generate several question-answer pairs using a language model. We calculate image faithfulness by checking whether existing VQA models can answer these questions using the generated image. TIFA is a reference-free metric that allows for fine-grained and interpretable evaluations of generated images. TIFA also has better correlations with human judgments than existing metrics. Based on this approach, we introduce TIFA v1.0, a benchmark consisting of 4K diverse text inputs and 25K questions across 12 categories (object, counting, etc.). We present a comprehensive evaluation of existing text-to-image models using TIFA v1.0 and highlight the limitations and challenges of current models. For instance, we find that current text-to-image models, despite doing well on color and material, still struggle in counting, spatial relations, and composing multiple objects. We hope our benchmark will help carefully measure the research progress in text-to-image synthesis and provide valuable insights for further research.

研究动机与目标

• 为解决文本到图像生成忠实度评估中缺乏准确、可解释且细粒度的自动评估指标的问题。
• 克服现有指标（如 CLIPScore 和基于字幕的方法）在捕捉组合推理、计数和属性绑定方面的局限性。
• 构建一个基准，实现对模型在对象、空间关系和材质等多样化属性上失败情况的系统性评估。
• 提供一个模块化、可扩展的框架，可集成不断演进的自然语言与视觉模型，以支持未来的可扩展性。

提出的方法

• 使用大型语言模型（GPT-3）从文本输入自动生成多样化的问题-答案对，将复杂提示分解为细粒度探测。
• 使用问答模型（UnifiedQA）筛选生成的 QA 对，确保问题与答案的一致性和质量。
• 通过在生成图像上运行 VQA 模型（如 mPLUG-large）来回答问题，以评估图像忠实度，将正确率作为忠实度得分。
• 选择 mPLUG 作为默认 VQA 模型，因其具有高准确率（85.2%）和合理的推理速度（每题 0.25 秒）。
• 通过人工验证的 VQA 标注，将图像生成错误与 VQA 模型错误分离，确认大多数失败源于图像生成，而非 VQA 模型。
• 设计 TIFA v1.0 作为基准，包含 4,000 个多样化文本输入和 12 个类别中的 25,000 个问题，涵盖对象、计数、空间关系和材质等。

Figure 1: Illustration of how TIFA works, and comparison with the widely-used CLIPScore and SPICE metrics. Given the text input, TIFA uses GPT-3 to generate several question-answer pairs, and a QA model filters them (3 out of 14 questions for this text input are shown). TIFA measures whether VQA mod

实验结果

研究问题

• RQ1 与现有指标（如 CLIPScore 和基于字幕的方法）相比，TIFA 的忠实度得分与人类判断的相关性如何？
• RQ2 当前文本到图像模型在哪些视觉属性上最常失败，如计数、空间关系或多对象组合？
• RQ3 TIFA 评估中的错误在多大程度上源于图像生成，而非 VQA 模型的局限性？
• RQ4 VQA 模型的选择如何影响 TIFA 得分的可靠性和性能？
• RQ5 TIFA 能否检测到 CLIPScore 和基于字幕的指标所忽略的细微属性绑定和组合推理失败？

主要发现

• TIFA 与人类判断的 Spearman’s 相关系数为 0.60，显著优于 CLIPScore（0.33）和基于字幕的指标（0.34）。
• Stable Diffusion v2.1 在 TIFA 上的得分高于 v1.5，与 CLIPScore 和 SPICE 的结果相反，表明 TIFA 更准确地捕捉了模型间的差异。
• 当前模型在计数（如错误的对象数量）、空间关系（如错误的相对位置）和多对象组合方面表现最差。
• 少于 25% 的 TIFA 错误归因于 VQA 模型，确认大多数失败源于图像生成，而非 VQA 限制。
• mPLUG-large 被选为默认 VQA 模型，因其准确率高（85.2%）且推理速度可接受（每题 0.25 秒），在性能与效率之间取得良好平衡。
• TIFA v1.0 基准包含 4,000 个多样化文本输入和 12 个类别中的 25,000 个问题，支持对模型行为的细粒度分析。

Figure 2: (a) Overview of how TIFA evaluates the faithfulness of a synthesized image. TIFA uses a language model (LM), a question-answering (QA) model, and a visual-question-answering (VQA) model. Given a text input, we generate several question-answer pairs with the LM and then filter them via the