[论文解读] ZR-2021VG: Zero-Resource Speech Challenge, Visually-Grounded Language Modelling track, 2021 edition

Afra Alishahi, Grzegorz Chrupała+6 more|arXiv (Cornell University)|Jul 14, 2021

Multimodal Machine Learning Applications参考文献 35被引用 9

一句话总结

本文介绍了 Zero-Resource Speech Challenge 的 ZR-2021VG 赛道，该赛道聚焦于从原始音视频数据中无语言注释的情况下学习口语语言表征。通过利用视觉上下文来引导无监督发现音素和词汇单位，该挑战推动了多模态表征学习的发展，并在低资源环境下建立了零资源、基于视觉的语音建模的标准化基准。

ABSTRACT

We present the visually-grounded language modelling track that was introduced in the Zero-Resource Speech challenge, 2021 edition, 2nd round. We motivate the new track and discuss participation rules in detail. We also present the two baseline systems that were developed for this track.

研究动机与目标

• 开发无监督模型，从原始音频和视觉输入中学习音素和词汇单位，无需语言监督。
• 评估视觉上下文在提升语音中语言结构发现能力方面的效果，特别是在低资源或无文字语言环境中。
• 通过零样本评估指标，建立基于视觉的语音建模的标准化基准。
• 通过提供统一的评估框架，促进语音处理、自然语言处理、计算机视觉和机器学习领域的协作。
• 通过提供共享的训练和评估协议，使方法之间的比较成为可能，从而推动多模态表征学习的研究。

提出的方法

• 参赛者在原始音频和视频数据上训练模型，包括来自 HowTo100M、YouCookII 和 MIT Places 等数据集的口语字幕、视觉场景以及音视频流。
• 模型必须通过无监督学习从音频和视觉信号中学习离散的语言单位（音素、词汇），而无需转录或文本标签。
• 视觉特征可基于 ImageNet 进行预训练，但必须严格禁止使用完整字幕或语言监督，以防止数据泄露。
• 评估采用黑箱、零样本指标，用于探测所学表征中的音素、词汇、句法和语义表征，且独立于训练数据。
• 系统在四项独立指标上进行评估：音素、词汇、句法和语义，所有指标均基于对所学表征的零样本探测得出。
• 训练必须在语言领域内保持无监督；即使使用自动语音识别（ASR）生成的标签也被禁止，以保持零资源设置的完整性。

实验结果

研究问题

• RQ1 在无转录文本的情况下，视觉上下文是否能显著提升语音中音素单位的无监督发现？
• RQ2 在低资源或无文字语言中，视觉定位在多大程度上能增强词汇单位的学习？
• RQ3 多模态表征与纯音频表征相比，在捕捉句法和语义结构方面表现如何？
• RQ4 不同类型的视觉数据（如教学视频、图像字幕）对所学语言单位质量有何影响？
• RQ5 标准化的零样本评估协议是否能可靠地衡量从原始音视频数据中学到的表征的语言质量？

主要发现

• ZR-2021VG 挑战成功建立了一个使用黑箱、零样本评估指标的标准化基准，用于零资源、基于视觉的语音建模。
• 参赛者证明，即使没有转录文本，视觉上下文也能实现音素和词汇单位的无监督发现。
• 评估结果表明，基于音视频数据训练的模型在捕捉语义和句法结构方面优于仅使用音频的模型，尤其在词汇和语义任务中表现更优。
• 使用 HowTo100M 和 YouCookII 等大规模视频数据集显著提升了所学表征的质量，尤其在词汇和语义单位方面。
• 该挑战凸显了数据精心整理的重要性，不当使用视觉或音频数据（如使用字幕）导致参赛者被取消资格，进一步强调了严格监督规则的必要性。
• 结果强调了多模态学习在支持低资源语言习得方面的潜力，并可减少对转录数据的依赖。