[论文解读] Spearphone: A Speech Privacy Exploit via Accelerometer-Sensed Reverberations from Smartphone Loudspeakers.

S Abhishek Anand, Chen Wang+3 more|arXiv (Cornell University)|Jul 12, 2019

Advanced Malware Detection Techniques参考文献 13被引用 14

一句话总结

Spearphone 利用智能手机的加速度计读数，从内置扬声器的混响中提取语音信息，使用现成的机器学习技术实现了超过 90% 的性别分类准确率和超过 80% 的说话人识别准确率，揭示了扬声器模式音频播放中的关键隐私漏洞。

ABSTRACT

In this paper, we build a speech privacy attack that exploits speech reverberations generated from a smartphone's in-built loudspeaker captured via a zero-permission motion sensor (accelerometer). We design our attack Spearphone2, and demonstrate that speech reverberations from inbuilt loudspeakers, at an appropriate loudness, can impact the accelerometer, leaking sensitive information about the speech. In particular, we show that by exploiting the affected accelerometer readings and carefully selecting feature sets along with off-the-shelf machine learning techniques, Spearphone can successfully perform gender classification (accuracy over 90%) and speaker identification (accuracy over 80%) for any audio/video playback on the smartphone. Our results with testing the attack on a voice call and voice assistant response were also encouraging, showcasing the impact of the proposed attack. In addition, we perform speech recognition and speech reconstruction to extract more information about the eavesdropped speech to an extent. Our work brings to light a fundamental design vulnerability in many currently-deployed smartphones, which may put people's speech privacy at risk while using the smartphone in the loudspeaker mode during phone calls, media playback or voice assistant interactions.

研究动机与目标

• 调查通过智能手机扬声器播放的语音信号是否能从加速度计读数中重建。
• 识别智能手机运动传感器中此前未被探索的侧信道漏洞，该漏洞会泄露语音信息。
• 仅使用零权限加速度计数据和标准机器学习技术，演示实际的语音隐私攻击。
• 评估在语音通话和语音助手交互等真实场景中，进行性别分类、说话人识别和语音重建的可行性。

提出的方法

• 在智能手机扬声器播放音频时捕获其加速度计数据，以检测由声音混响引起的机械振动。
• 从加速度计信号中提取时域和频域特征，以表征与语音相关的模式。
• 应用现成的机器学习模型（包括支持向量机和神经网络）对提取的特征进行性别分类和说话人识别。
• 开展语音识别和信号重建实验，从加速度计轨迹中恢复语音的音素内容和部分语音波形。
• 通过语音通话和语音助手响应验证攻击，以模拟常见的智能手机使用场景。
• 通过经验分析选择最优特征集，以在最大化分类准确率的同时最小化噪声干扰。

实验结果

研究问题

• RQ1 通过智能手机扬声器播放的语音信号是否会在设备加速度计传感器中引发可检测的振动？
• RQ2 从扬声器混响音频的加速度计读数中，能在多大程度上推断出性别和说话人身份？
• RQ3 能否从加速度计轨迹中重建出足够保真度的语音内容，导致有意义的信息泄露？
• RQ4 该攻击在语音通话和语音助手交互等真实场景中的有效性如何？

主要发现

• Spearphone 利用智能手机扬声器混响的加速度计数据，实现了超过 90% 的性别分类准确率。
• 在多个涉及智能手机音频播放的测试案例中，说话人识别准确率超过 80%。
• 语音重建是可行的，能够从加速度计轨迹中部分恢复出语音内容。
• 即使智能手机被手持或放置在表面上，攻击依然有效，表明其具有现实世界适用性。
• 该方法无需特殊权限，使其具有隐蔽性，难以被标准安全机制检测。
• 该漏洞已在多款智能手机型号上得到验证，凸显了当前设备架构中广泛存在的设计缺陷。