[论文解读] TranssionADD: A multi-frame reinforcement based sequence tagging model for audio deepfake detection

Jie Liu, Zhiba Su+6 more|arXiv (Cornell University)|Jun 27, 2023

Speech and Audio ProcessingComputer Science被引用 3

一句话总结

TranssionADD 提出了一种新颖的基于多帧强化的序列标注模型，用于音频深度伪造检测，将任务建模为帧级标注以精确定位被篡改区域。通过整合 RCNN-BLSTM 特征提取、多帧检测、数据增强以及孤立帧惩罚损失，该系统在 ADD 2023 篡改区域定位赛道中获得第二名，展现出卓越的鲁棒性与异常值处理能力。

ABSTRACT

Thanks to recent advancements in end-to-end speech modeling technology, it has become increasingly feasible to imitate and clone a user`s voice. This leads to a significant challenge in differentiating between authentic and fabricated audio segments. To address the issue of user voice abuse and misuse, the second Audio Deepfake Detection Challenge (ADD 2023) aims to detect and analyze deepfake speech utterances. Specifically, Track 2, named the Manipulation Region Location (RL), aims to pinpoint the location of manipulated regions in audio, which can be present in both real and generated audio segments. We propose our novel TranssionADD system as a solution to the challenging problem of model robustness and audio segment outliers in the trace competition. Our system provides three unique contributions: 1) we adapt sequence tagging task for audio deepfake detection; 2) we improve model generalization by various data augmentation techniques; 3) we incorporate multi-frame detection (MFD) module to overcome limited representation provided by a single frame and use isolated-frame penalty (IFP) loss to handle outliers in segments. Our best submission achieved 2nd place in Track 2, demonstrating the effectiveness and robustness of our proposed system.

研究动机与目标

• 解决在噪声大且数据多变的真实场景中检测并定位被篡改音频片段的挑战。
• 提升模型在时间序列音频数据中对异常值的泛化能力与鲁棒性。
• 构建一种序列标注框架，实现对音频中伪造区域的精确定位，突破二元分类的局限。
• 通过一种新型损失函数减少孤立或碎片化帧预测带来的误报。

提出的方法

• 该模型将音频深度伪造检测视为序列标注任务，为每个音频帧预测标签（真实/伪造），并将具有相同标签的连续帧合并，以识别被篡改的片段。
• 采用 RCNN-BLSTM 主干网络从梅尔频谱图中提取空间与时间特征，捕捉频谱与序列模式。
• 多帧检测（MFD）模块聚合相邻多帧的信息，以增强局部表征并提升对噪声的鲁棒性。
• 在训练前和训练中均应用数据增强，包括语音转换、音高偏移以及随机噪声注入（SNR < 15 dB），以提升泛化能力。
• 引入孤立帧惩罚（IFP）损失，以惩罚那些被标记为伪造但持续时间不足6帧的孤立帧，从而减少异常值导致的误报。
• 最终得分由 30% 句子级准确率（A_sentence）与 70% 分段级 F1 分数（F1_segment）组合而成，并引入辅助的 iso-rate 指标以评估异常值处理能力。

Figure 1: Overview of our proposed system. Subfigure (a) illustrates the overall structure of our model. Subfigure (b) is the RCNN encoder. Subfigure (c) shows the multi-frame detection module (MFD).

实验结果

研究问题

• RQ1 序列标注方法是否能在定位被篡改音频区域方面优于传统二元分类方法？
• RQ2 多帧特征聚合在提升模型对噪声或异常帧鲁棒性方面效果如何？
• RQ3 结合预训练与训练中数据增强技术在音频深度伪造检测中对模型泛化能力的提升程度如何？
• RQ4 孤立帧惩罚损失是否能有效减少由碎片化或孤立帧预测引发的误报？
• RQ5 与基线模型相比，所提出系统在检测准确率与异常值鲁棒性方面表现如何？

主要发现

• TranssionADD 在 ADD 2023 篡改区域定位赛道中获得第二名，优于基线 RCNN-BLSTM 模型与改进的 RawNet2 模型。
• 与基线相比，该模型的 iso-rate 显著降低至 0.085（基线为 0.152），表明其对孤立或碎片化预测的处理能力更优。
• 与基线相比，孤立帧惩罚（IFP）损失使 iso-rate 降低了 44%，证明其在抑制异常预测方面的有效性。
• 消融实验表明，若移除 MFD 模块，检测分数出现明显下降，凸显其在上下文特征学习中的关键作用。
• 结合训练前与训练中数据增强（BefAug & InAug）带来了最大的性能提升，尤其在增强后的开发集与测试集上表现突出。
• 系统最终得分为 0.3*A_sentence + 0.7*F1_segment，在所有提交结果中，F1_segment 与 A_sentence 分数均最高。