[论文解读] Trick or TReAT: Thematic Reinforcement for Artistic Typography

Purva Tendulkar, Kalpesh Krishna+2 more|arXiv (Cornell University)|Mar 19, 2019

Visual Culture and Art Theory参考文献 22被引用 4

一句话总结

TReAT 提出了一种无监督深度学习方法，通过用在视觉上与之相似且主题相关的剪贴画替换单词中的字母，生成具有艺术性、主题相关的字体。通过为字母和剪贴画共享潜在空间，该模型实现了通过视觉相似性进行语义强化，在人类研究中实现了74%的单词识别率和67%的主题识别率，参与者评价其输出具有创造性。

ABSTRACT

An approach to make text visually appealing and memorable is semantic reinforcement - the use of visual cues alluding to the context or theme in which the word is being used to reinforce the message (e.g., Google Doodles). We present a computational approach for semantic reinforcement called TReAT - Thematic Reinforcement for Artistic Typography. Given an input word (e.g. exam) and a theme (e.g. education), the individual letters of the input word are replaced by cliparts relevant to the theme which visually resemble the letters - adding creative context to the potentially boring input word. We use an unsupervised approach to learn a latent space to represent letters and cliparts and compute similarities between the two. Human studies show that participants can reliably recognize the word as well as the theme in our outputs (TReATs) and find them more creative compared to meaningful baselines.

研究动机与目标

• 开发一种计算方法，用于生成通过主题视觉线索强化意义的艺术字体。
• 解决基于视觉相似性自动匹配字母与剪贴画的同时保持可识别性的挑战。
• 创建一种系统，通过使用特定主题的剪贴画替换字母，实现语义强化。
• 评估生成的 TReAT 在单词识别、主题识别和感知创造力方面的有效性。

提出的方法

• 该方法使用自编码器学习字母（各种字体）和剪贴画的共享潜在空间，以确保重建保真度和判别性特征学习。
• 重建损失确保外观相似的图像（字母和剪贴画）在潜在空间中彼此接近。
• 分类损失强制实现判别性特征，使即使被剪贴画替换，不同的字母仍能保持可识别性。
• 在测试阶段，对于每个字母，系统基于潜在空间距离，从 Noun Project 中检索最视觉相似且主题相关的剪贴画。
• 该模型支持原始字母与其剪贴画替换之间的渐变过渡，实现动态且可读的视觉转换。
• 提出一种交互式界面，允许用户从 top-k 剪贴画匹配中选择并优化主题相关性。

实验结果

研究问题

• RQ1 计算模型能否可靠地生成艺术字体，其中字母被视觉上相似且主题相关的剪贴画所替换？
• RQ2 人类观察者在多大程度上能从生成的 TReAT 中识别出原始单词和主题？
• RQ3 在人类评估中，TReAT 的感知创造力与有意义基线相比如何？
• RQ4 自动视觉相似性评分的失败模式是什么，它们如何影响剪贴画的选择？

主要发现

• 人类参与者在 74% 的 TReAT 中识别出原始单词，表明尽管经过视觉转换，仍具有较强的可识别性。
• 参与者在 67% 的 TReAT 中正确识别出主题，证明了主题强化的有效性。
• 平均而言，参与者‘部分同意’认为 TReAT 具有创造性，其感知创造力优于有意义的基线。
• 失败案例揭示了自动相似性评分的局限性，尤其是在剪贴画与主题相关但视觉相似度较低的情况下。
• 渐变功能实现了从原始字母到剪贴画替换的更平滑视觉过渡，增强了可读性和视觉吸引力。
• 受试者指出了一些问题，如不相关的剪贴画以及缺乏标准符号（例如，‘牧师’缺少十字架），突显了主题相关性整合的必要性。