[论文解读] Voice-Face Cross-modal Matching and Retrieval: A Benchmark

Chuyuan Xiong, Deyuan Zhang+2 more|arXiv (Cornell University)|Nov 21, 2019

Face recognition and analysis参考文献 30被引用 10

一句话总结

本文提出了一种用于语音-人脸跨模态匹配与检索的新基准，引入了一种基于语音锚定、L2归一化的度量学习框架，采用基于CNN的网络结构与三元组损失。在包含115万张人脸和29万段中文语音片段的大规模数据集上，该方法实现了最先进性能（1:2匹配任务准确率达84.48%），在准确率与泛化置信度方面均显著优于先前工作。

ABSTRACT

Cross-modal associations between voice and face from a person can be learnt algorithmically, which can benefit a lot of applications. The problem can be defined as voice-face matching and retrieval tasks. Much research attention has been paid on these tasks recently. However, this research is still in the early stage. Test schemes based on random tuple mining tend to have low test confidence. Generalization ability of models can not be evaluated by small scale datasets. Performance metrics on various tasks are scarce. A benchmark for this problem needs to be established. In this paper, first, a framework based on comprehensive studies is proposed for voice-face matching and retrieval. It achieves state-of-the-art performance with various performance metrics on different tasks and with high test confidence on large scale datasets, which can be taken as a baseline for the follow-up research. In this framework, a voice anchored L2-Norm constrained metric space is proposed, and cross-modal embeddings are learned with CNN-based networks and triplet loss in the metric space. The embedding learning process can be more effective and efficient with this strategy. Different network structures of the framework and the cross language transfer abilities of the model are also analyzed. Second, a voice-face dataset (with 1.15M face data and 0.29M audio data) from Chinese speakers is constructed, and a convenient and quality controllable dataset collection tool is developed. The dataset and source code of the paper will be published together with this paper.

研究动机与目标

• 建立一个全面的语音-人脸跨模态匹配与检索基准，解决现有研究中数据集规模小、测试置信度低等局限性。
• 开发一种可扩展、高质量的数据集采集工具，用于特定类型视频，实现高效的大规模数据整理，同时最大限度减少标注工作量。
• 提出一种新颖的语音锚定度量学习框架，通过L2归一化约束与三元组损失提升嵌入效率与模型性能。
• 在大规模数据上评估模型的泛化能力，并分析网络架构、预训练策略及度量空间设计的影响。
• 探究跨语言迁移能力，并提供标准化评估协议，涵盖多样化任务的多种性能指标。

提出的方法

• 构建基于语音锚定的L2归一化度量空间，以提升跨模态匹配中嵌入学习效率与模型收敛性。
• 在度量空间中应用三元组损失，利用基于CNN的网络结构学习判别性跨模态嵌入，分别提取语音与人脸特征。
• 采用基于身份的样本采样策略，提升训练效率并聚焦于困难负样本。
• 框架采用SE-ResNet50及其他深层CNN架构，并在MS1M和VOX2数据集上进行预训练，以增强特征表示能力。
• 开发数据采集工具，从MOOC视频中提取高质量语音与人脸样本，实现可控质量下的可扩展数据集构建。
• 采用多种评估指标，包括1:2、1:3和1:4匹配准确率、mAP以及性别特定性能，以评估模型泛化能力。

实验结果

研究问题

• RQ1 基于语音锚定的L2归一化度量学习在语音-人脸跨模态匹配中如何提升性能与训练效率？
• RQ2 不同CNN架构（如SE-ResNet50与VGG-M）对跨模态模型泛化能力与准确率有何影响？
• RQ3 在大规模数据集上进行预训练如何影响低资源或零样本跨语言设置下的模型性能？
• RQ4 该模型在跨语言场景下的泛化能力如何，特别是在针对中文说话人数据微调时？
• RQ5 不同的数据采样策略与度量空间尺度在多大程度上影响模型收敛性与检索性能？

主要发现

• 所提出的VFMR1框架在使用1000万组三元组的1:2匹配任务中达到84.48%的准确率，优于先前最先进方法。
• 模型在1:2检索任务中mAP达到11%，相比先前最佳结果提升7个百分点。
• 训练期间冻结语音嵌入网络可提升训练效率并略微提高性能，表明语音锚定学习的重要性。
• 加入挤压-激励模块的SE-ResNet50优于标准ResNet50与VGG-M，表明引入注意力机制的深层网络能生成更优的跨模态嵌入。
• 在MS1M与VOX2等大规模数据集上进行预训练可显著提升性能，而无预训练训练则导致准确率大幅下降。
• 模型对未见说话人泛化良好，在小规模已见已听测试集上达到95%准确率与38% mAP，展现出实际应用潜力。