[论文解读] SASV Challenge 2022: A Spoofing Aware Speaker Verification Challenge Evaluation Plan

Jee-weon Jung, Hemlata Tak+8 more|arXiv (Cornell University)|Jan 25, 2022

Speech Recognition and Synthesis被引用 16

一句话总结

本文介紹了 SASV Challenge 2022，這是一項語者驗證挑戰，用於評估同時優化反 spoofing 對抗措施（CMs）與自動語者驗證（ASV）的整合系統。論文提出了一套統一框架，結合集成模型與端到端模型，共同檢測偽造與偽裝語音，採用後端模型集成策略，在開發集上實現了 1.2% 的 SASV-EER。

ABSTRACT

ASV (automatic speaker verification) systems are intrinsically required to reject both non-target (e.g., voice uttered by different speaker) and spoofed (e.g., synthesised or converted) inputs. However, there is little consideration for how ASV systems themselves should be adapted when they are expected to encounter spoofing attacks, nor when they operate in tandem with CMs (spoofing countermeasures), much less how both systems should be jointly optimised. The goal of the first SASV (spoofing-aware speaker verification) challenge, a special sesscion in ISCA INTERSPEECH 2022, is to promote development of integrated systems that can perform ASV and CM simultaneously.

研究动机与目标

• 透過在單一挑戰框架中統合雙方目標，彌補 ASV 與 CM 研究社群之間的差距。
• 提升語者驗證系統對零成本偽裝者與偽造攻擊（例如 TTS、VC、重播）的魯棒性。
• 鼓勵開發結合語者嵌入與反偽造嵌入的集成模型，以及採用多任務學習的單一整合模型。
• 建立標準化評估協定，使用三種 EER 指標：SASV-EER、SV-EER 和 SPF-EER，以全面評估系統可靠性。

提出的方法

• 提出兩種處理流程：(1) 使用分離預訓練的 ASV 與 CM 子系統的集成解決方案，(2) 經端到端訓練、具備多任務目標的整合單一系統。
• 使用分數相加集成方法，結合來自 ASV 的餘弦相似度分數與來自 CM 系統的 DNN Softmax 分數。
• 實施後端模型集成（Baseline2），包含三個輸入：來自登記階段的 ASV 嵌入、來自測試階段的 ASV 嵌入，以及來自測試階段的 CM 嵌入，採用三層 MLP。
• 在 ASVspoof 2019 LA 訓練資料集的子集上訓練模型，並在開發與評估協定上進行評估。
• 在深度神經網絡中應用多任務學習，設置雙輸出頭：一個用於語者辨識，一個用於偽造檢測。
• 採用統一協定，包含目標、非目標與偽造試驗，以計算 SASV-EER、SV-EER 和 SPF-EER 指標。

实验结果

研究问题

• RQ1 與獨立開發 CM 相比，ASV 與 CM 子系統的聯合優化是否能顯著提升系統魯棒性？
• RQ2 結合語者與反偽造嵌入的集成模型性能，與單一整合模型相比如何？
• RQ3 在後端模型中進行分數融合，能在多大程度上降低因分離的 ASV 與 CM 系統分數未校準所導致的 EER 損失？
• RQ4 每組試驗使用多個登記語音對系統性能與校準程度有何影響？
• RQ5 在整合系統中，三種 EER 指標（SASV-EER、SV-EER、SPF-EER）在開發集與評估集之間的相關性如何？

主要发现

• 後端模型集成（Baseline2）在開發集上實現了 1.2% 的 SASV-EER，優於分數相加集成方法。
• 分數相加集成方法因 ASV 與 CM 系統分數未校準而導致 EER 損失，突顯融合策略的重要性。
• 首次在挑戰情境中使用此評估協定，使整合型 ASV-CM 系統得以進行一致比較。
• 每組試驗使用多個登記語音提升了嵌入穩定性與系統校準度，特別是在集成架構中效果顯著。
• SASV-EER 指標能有效反映系統在同時面對偽裝者與偽造威脅下的可靠性，提供統一的性能衡量標準。
• 挑戰框架成功讓參與者訓練與評估整合系統，並在挑戰結束後公開分享結果。