[论文解读] Speaker identification from the sound of the human breath

Wenbo Zhao, Yang Gao+1 more|arXiv (Cornell University)|Dec 1, 2017

Speech Recognition and Synthesis参考文献 15被引用 10

一句话总结

本文证明，说话过程中产生的呼吸声包含个体特有的生物特征信息，利用恒-Q频谱图与深度学习技术可实现高精度的说话人识别。采用CNN-LSTM框架，该方法在44名说话人数据集上实现了91.3%的准确率，证明呼吸声因其抗伪装性和自然变异性，适用于法医学与生物识别应用。

ABSTRACT

This paper examines the speaker identification potential of breath sounds in continuous speech. Speech is largely produced during exhalation. In order to replenish air in the lungs, speakers must periodically inhale. When inhalation occurs in the midst of continuous speech, it is generally through the mouth. Intra-speech breathing behavior has been the subject of much study, including the patterns, cadence, and variations in energy levels. However, an often ignored characteristic is the {\em sound} produced during the inhalation phase of this cycle. Intra-speech inhalation is rapid and energetic, performed with open mouth and glottis, effectively exposing the entire vocal tract to enable maximum intake of air. This results in vocal tract resonances evoked by turbulence that are characteristic of the speaker's speech-producing apparatus. Consequently, the sounds of inhalation are expected to carry information about the speaker's identity. Moreover, unlike other spoken sounds which are subject to active control, inhalation sounds are generally more natural and less affected by voluntary influences. The goal of this paper is to demonstrate that breath sounds are indeed bio-signatures that can be used to identify speakers. We show that these sounds by themselves can yield remarkably accurate speaker recognition with appropriate feature representations and classification frameworks.

研究动机与目标

• 探究说话过程中的呼吸声是否包含足够说话人特异信息以实现可靠识别。
• 评估利用呼吸声作为与发声语音无关的生物特征签名的可行性。
• 对比传统i-vector方法与深度学习（CNN-LSTM）在基于呼吸声的说话人识别中的表现。
• 评估呼吸声在伪装和模仿攻击下的鲁棒性，特别是在法医学背景下的适用性。
• 证明呼吸声因较少受意志控制，可提供稳定且不变的生物特征集合。

提出的方法

• 从连续说话录音中提取呼吸声，重点关注说话段落之间的快速、张口吸气阶段。
• 将呼吸信号转换为每倍频程48个滤波器的恒-Q频谱图，以保留与感知相关的频率分辨率。
• 使用弹性变换（σ=2, α=15）进行数据增强，以标准化说话人内部的音高变化。
• 训练一个输入尺寸为463×T的CNN-LSTM神经网络，第一隐藏层使用ReLU，第二隐藏层使用Sigmoid，输出层为软最大函数。
• 使用Adadelta优化器，批量大小为1，并基于验证损失采用早停策略以防止过拟合。
• 采用每名说话人70%训练、20%验证、10%测试的划分方式评估性能，并通过交叉验证进行超参数调优。

实验结果

研究问题

• RQ1 说话过程中的呼吸声是否能可靠携带用于识别的说话人特异信息？
• RQ2 基于i-vector与深度学习（CNN-LSTM）的呼吸声说话人识别性能有何差异？
• RQ3 呼吸声在多大程度上能抵抗伪装和模仿攻击，使其适用于法医学应用？
• RQ4 尽管存在音高与振幅变化，恒-Q频谱图是否能有效表征呼吸声特征以支持说话人建模？
• RQ5 联合CNN-LSTM架构是否通过自动学习呼吸信号中的平移不变性与时序特征，从而提升说话人识别准确率？

主要发现

• CNN-LSTM框架在仅使用呼吸声的情况下，于44名说话人数据集上实现了91.3%的说话人识别准确率，证明其在极少先验假设下仍具有高性能。
• i-vector方法在LDA + SVM组合下最高达到74.1%的准确率，证实呼吸声中确实包含可度量的说话人特异特征。
• CNN-LSTM与i-vector方法的ROC曲线均显示出较高的AUC值，表明其在说话人验证应用中具有强大的实际部署潜力。
• 不同说话人之间的呼吸声表现出明显的共振峰模式（F1, F2, F3），即使在模仿情境下，视觉频谱图仍揭示出独特的说话人特异性共振特征。
• 所提方法无需分布假设，且在短时录音上依然有效，归因于网络可自动学习时序与不变特征。
• 即使语音模仿者高度还原唐纳德·特朗普的说话方式，其呼吸声仍保持独特可识别性，凸显呼吸声作为生物特征的鲁棒性。