[论文解读] Shortcut Learning in Binary Classifier Black Boxes: Applications to Voice Anti-Spoofing and Biometrics

Md Sahidullah, Hye-jin Shim+2 more|arXiv (Cornell University)|Jan 25, 2026

Speech Recognition and Synthesis被引用 0

一句话总结

该论文提出一个框架，通过对比干预分析和观察分析并结合线性混合效应建模，来诊断二进制检测器中的捷径学习，并在语音反欺骗和说话人验证任务中进行演示。

ABSTRACT

The widespread adoption of deep-learning models in data-driven applications has drawn attention to the potential risks associated with biased datasets and models. Neglected or hidden biases within datasets and models can lead to unexpected results. This study addresses the challenges of dataset bias and explores ``shortcut learning'' or ``Clever Hans effect'' in binary classifiers. We propose a novel framework for analyzing the black-box classifiers and for examining the impact of both training and test data on classifier scores. Our framework incorporates intervention and observational perspectives, employing a linear mixed-effects model for post-hoc analysis. By evaluating classifier performance beyond error rates, we aim to provide insights into biased datasets and offer a comprehensive understanding of their influence on classifier behavior. The effectiveness of our approach is demonstrated through experiments on audio anti-spoofing and speaker verification tasks using both statistical models and deep neural networks. The insights gained from this study have broader implications for tackling biases in other domains and advancing the field of explainable artificial intelligence.

研究动机与目标

• 定义并形式化二进制检测器中的捷径学习和数据集偏差。
• 提出一个干预-观察框架来评估黑箱分数中的数据驱动捷径。
• 使用线性混合效应模型将分类器分数与超出错误率的数据扰动相关联。
• 将该框架应用于反欺骗和说话人验证，以揭示偏差驱动的分数行为。

提出的方法

• 用线性混合效应 (LME) 模型来建模分类器分数 s_i: s_i = μ + d y_i^{cls} + β^T u_i + b_i + ε_i (Equation (2)).
• 使用干预数据：用受控修改 f(x; z) 和干预概率 ρ_{f|y} 产生 D′ 的训练或测试数据扰动，并通过 LME 分析其影响。
• 使用观测数据：提取干扰特征 w_i（或来自高斯混合模型的干扰分数 ℓ_i），并将其作为固定效应纳入 LME，以评估它们对 s_i 的影响。
• 将黑箱检测器视为一个分数生成器，分析分数对数据相关偏差的依赖，而不仅仅依赖错误率。
• 提供两种视角（干预和观察）以捕捉类别条件分布 P_{ij}(X) 的协变量变分。
• 通过传统的基于 GMM 的 LFCC 检测器和现代深度学习模型（AASIST）来展示适用性。

实验结果

研究问题

• RQ1 通过受控的数据干预，二元分类器是否会暴露对数据集捷径的依赖？
• RQ2 训练/测试数据不匹配与干扰因素如何影响探测器分数，而不仅仅是标准准确性指标？
• RQ3 线性混合效应模型是否能提供透明、模型无关的偏差对分数影响的解释？
• RQ4 反欺骗和说话人验证探测器是否容易通过非语音、信道或静音线索实现捷径学习？
• RQ5 观测性干扰信号（如信噪比、性别、语言）在不同条件下如何偏置性能？

主要发现

• 该框架通过干预与观察设置实现捷径学习分析，并以线性混合效应建模进行量化。
• 对训练/测试数据的干预揭示了分布的变动，这些变动与偏差相关，超出错误率的变化。
• 观测性干扰特征如信噪比和非语音内容可以统计性地与分数变化相关联，表明潜在捷径。
• 在 ASVspoof 2019 LA 的实验中，对 MP3 压缩、附加噪声、响度归一化、非语音和 μ-law 编码等干预对两种探测器类型（GMM 与 LFCC、AASIST）均显示出显著敏感性。
• 该方法产生可解释的系数（例如与真伪线索对应的 β 项）以及调整后的 R^2，用于对语音安全应用的偏差分析提供透明框架。