[论文解读] T-MARS: Improving Visual Representations by Circumventing Text Feature Learning

Pratyush Maini, Sachin Goyal+3 more|arXiv (Cornell University)|Jul 6, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

T-MARS 提出了一种新颖的数据过滤方法，通过识别并移除文本主导视觉特征的图像-文本对，利用文本掩码和 CLIP 相似度重评分来提升视觉表征学习。该方法在 DataComp 基准测试中，将 ImageNet 零样本准确率提升至 SOTA 水平，零样本准确率提升 6.5%，且在数据规模扩大时表现出线性准确率增益。

ABSTRACT

Large web-sourced multimodal datasets have powered a slew of new methods for learning general-purpose visual representations, advancing the state of the art in computer vision and revolutionizing zero- and few-shot recognition. One crucial decision facing practitioners is how, if at all, to curate these ever-larger datasets. For example, the creators of the LAION-5B dataset chose to retain only image-caption pairs whose CLIP similarity score exceeded a designated threshold. In this paper, we propose a new state-of-the-art data filtering approach motivated by our observation that nearly 40% of LAION's images contain text that overlaps significantly with the caption. Intuitively, such data could be wasteful as it incentivizes models to perform optical character recognition rather than learning visual features. However, naively removing all such data could also be wasteful, as it throws away images that contain visual features (in addition to overlapping text). Our simple and scalable approach, T-MARS (Text Masking and Re-Scoring), filters out only those pairs where the text dominates the remaining visual features -- by first masking out the text and then filtering out those with a low CLIP similarity score of the masked image. Experimentally, T-MARS outperforms the top-ranked method on the "medium scale" of DataComp (a data filtering benchmark) by a margin of 6.5% on ImageNet and 4.7% on VTAB. Additionally, our systematic evaluation on various data pool sizes from 2M to 64M shows that the accuracy gains enjoyed by T-MARS linearly increase as data and compute are scaled exponentially. Code is available at https://github.com/locuslab/T-MARS.

研究动机与目标

• 为解决大规模视觉-语言数据集中文本主导图像的问题，该问题会促使模型更关注光学字符识别（OCR）而非视觉特征学习。
• 开发一种可扩展且有效的数据筛选方法，保留视觉信息丰富的图像，同时过滤掉文本特征占主导的图像。
• 通过有针对性的过滤提升数据质量，从而改善零样本和少样本视觉性能。
• 证明在大规模场景下，移除‘坏’样本（纯文本图像）比增加更多数据更具优势。

提出的方法

• T-MARS 首先使用预训练的 OCR 模型对图像中的所有文本进行掩码，以隔离视觉特征。
• 然后计算掩码后图像与对应标题之间的 CLIP 嵌入相似度。
• 在掩码后相似度得分较低的图像-文本对将被过滤，表明匹配主要依赖于文本信号。
• 该方法可扩展，通过利用预计算的 CLIP 特征，在十亿规模数据集上高效运行。
• 采用基于阈值的过滤策略，基于掩码图像与标题的相似度，避免完整微调。
• 该方法在多个数据集规模（200 万至 6400 万样本）和基准测试（包括 DataComp 和 ImageNet）上进行了评估。

实验结果

研究问题

• RQ1 过滤掉文本主导视觉特征的图像-文本对，是否能带来更好的视觉表征学习？
• RQ2 在大规模场景下，简单的掩码-重评分方法是否能超越现有的数据过滤基线？
• RQ3 随着数据和计算预算的增加，数据过滤带来的准确率增益如何变化？
• RQ4 不同数据类型（如纯视觉、纯文本或视觉+文本）对下游视觉性能的相对效用如何？
• RQ5 在大规模场景下，移除低质量（文本主导）样本是否比增加更多高质量数据更具优势？

主要发现

• 在 DataComp 基准测试的‘中等规模’设置下，T-MARS 在 ImageNet 零样本准确率上比排名首位的方法高出 6.5%，在 VTAB 上高出 4.7%。
• 在 200 万至 6400 万样本的数据池中，T-MARS 的准确率增益随数据和计算资源的指数级增长而线性提升。
• 使用 T-MARS 进行过滤后，即使仅使用一半的训练样本和 50% 的计算资源，模型性能仍优于在 CLIP 分数过滤数据集上训练的模型。
• 仅包含文本特征的图像具有负向效用（U = -0.89），与误标数据相当，会损害下游性能。
• 同时包含视觉和文本特征的图像，其效用（U ≈ +0.23 至 +0.27）与仅含视觉特征的图像几乎相同，支持其保留。
• 修剪坏样本（纯文本图像）带来的效用增益超过增加新好样本的三倍，凸显了数据质量的重要性。