[论文解读] Underspecification in Scene Description-to-Depiction Tasks

Ben Hutchinson, Jason Baldridge+1 more|arXiv (Cornell University)|Oct 11, 2022

Multimodal Machine Learning Applications被引用 10

一句话总结

本文提出了一种理解文本到图像生成中不明确性的概念性框架，认为文本描述中的模糊性会导致多种有效的视觉解释。通过多样化图像生成和显式建模视觉模糊性，可减轻相关风险，提升多模态系统的透明度与伦理化部署水平。

ABSTRACT

Questions regarding implicitness, ambiguity and underspecification are crucial for understanding the task validity and ethical concerns of multimodal image+text systems, yet have received little attention to date. This position paper maps out a conceptual framework to address this gap, focusing on systems which generate images depicting scenes from scene descriptions. In doing so, we account for how texts and images convey meaning differently. We outline a set of core challenges concerning textual and visual ambiguity, as well as risks that may be amplified by ambiguous and underspecified elements. We propose and discuss strategies for addressing these challenges, including generating visually ambiguous images, and generating a set of diverse images.

研究动机与目标

• 解决多模态文本到图像系统中对不明确性、模糊性和隐含性的忽视问题。
• 构建一个概念性框架，以理解在场景描述到图像呈现任务中，文本与图像如何以不同方式传达意义。
• 识别由模糊或不明确输入放大带来的风险，包括偏见、有害刻板印象和错误信息。
• 提出实用策略，如生成多样化图像和视觉上模糊的输出，以提升系统透明度与用户预期管理。
• 倡导与视觉艺术、设计和文化研究等领域的跨学科合作，以更准确地界定系统的能力与局限。

提出的方法

• 提出文本+图像任务的分类体系，以明确文本到图像生成在更广泛多模态AI中的角色。
• 分析图像如何通过相似性（图像性）和惯例（象征性）传达意义，区分指称对象与概念。
• 引入“视觉语言”概念，描述文本到图像模型的解释与生成能力，类比于语言建模中的语言模型。
• 建议记录模型的视觉能力与局限，包括支持的风格和任务边界，以管理用户预期。
• 提出为每个输入生成多种多样化图像，以反映不明确文本的多种可能解释。
• 倡导通过对抗性输入和具有文化多样性的评估者进行压力测试，以检测并减轻有害输出。

实验结果

研究问题

• RQ1 文本模糊性与视觉模糊性在文本到图像生成系统中的影响有何不同？
• RQ2 在场景描述到图像呈现任务中，不明确性如何放大伦理风险？
• RQ3 多模态系统如何更好地呈现对不明确描述的多种解释范围？
• RQ4 ‘视觉语言’在定义文本到图像模型能力与局限中发挥什么作用？
• RQ5 系统开发者如何在固有的模糊性面前提升透明度并管理用户预期？

主要发现

• 文本到图像模型常常生成反映自然语言描述中模糊性与不明确性的图像，导致多个有效但不同的视觉输出。
• 本文指出，即使输入本身无害，当与模型偏见结合时，仍可能产生具有冒犯性的输出，例如强化‘愤怒的黑人女性’等有害刻板印象。
• 为每个输入生成多样化图像，有助于呈现不明确描述的全部合理解释范围。
• 生成图像中的视觉模糊性可以成为一种优势，而非缺陷，当其用于反映自然语言的解释灵活性时。
• 通过具有文化多样性的评估者进行稳健的压力测试，可提升对有害或偏见模型行为的检测能力。
• 明确记录模型的视觉能力，包括支持的风格和任务边界，对于管理用户预期和降低误用风险至关重要。