[论文解读] WearID: Wearable-Assisted Low-Effort Authentication to Voice Assistants using Cross-Domain Speech Similarity

Chen Wang, Cong Shi+3 more|arXiv (Cornell University)|Mar 20, 2020

Speech Recognition and Synthesis参考文献 27被引用 6

一句话总结

WearID 是一种低投入的可穿戴辅助认证系统，通过语音助手麦克风与用户可穿戴设备运动传感器之间的跨域语音相似性，验证语音命令。利用运动传感器的短响应距离和独特的声学响应，WearID 在正常条件下实现 99.8% 的准确率，并可检测 97% 的伪装、重放、隐藏语音和超声波攻击中的伪造命令。

ABSTRACT

Due to the open nature of voice input, voice assistant (VA) systems (e.g., Google Home and Amazon Alexa) are under a high risk of sensitive information leakage (e.g., personal schedules and shopping accounts). Though the existing VA systems may employ voice features to identify users, they are still vulnerable to various acoustic attacks (e.g., impersonation, replay and hidden command attacks). In this work, we focus on the security issues of the emerging VA systems and aim to protect the users' highly sensitive information from these attacks. Towards this end, we propose a system, WearID, which uses an off-the-shelf wearable device (e.g., a smartwatch or bracelet) as a secure token to verify the user's voice commands to the VA system. In particular, WearID exploits the readily available motion sensors from most wearables to describe the command sound in vibration domain and check the received command sound across two domains (i.e., wearable's motion sensor vs. VA device's microphone) to ensure the sound is from the legitimate user.

研究动机与目标

• 解决语音助手（VA）系统在伪装、重放、隐藏语音和超声波攻击等声学欺骗攻击下的安全漏洞。
• 防止通过语音命令非法访问敏感用户数据（如日程安排和购买账户）。
• 利用现成的可穿戴设备（如智能手表）作为安全、低投入的第二重认证因素。
• 通过音频（麦克风）与振动（运动传感器）模态之间的跨域验证，提升传统仅依赖音频的生物识别安全性。
• 开发一种方法，在保留真实性的前提下，对采样率差异巨大的数据（8000Hz 与 200Hz）及传感特性进行有意义的比较。

提出的方法

• 使用唤醒词（如“OK Google”）触发 WearID 认证流程。
• 同时通过语音助手的麦克风（音频域）和可穿戴设备的加速度计（振动域）捕获相同的语音命令。
• 利用运动传感器特有的频率响应特性，建模音频与振动响应之间的复杂关系。
• 将高采样率的麦克风数据（8000Hz）转换为匹配运动传感器响应的低频数据（200Hz），以实现跨域比较。
• 计算转换后麦克风数据的语谱图与实际运动传感器数据之间的二维互相关，以评估相似性。
• 将所得相关系数作为真实性度量——高相关性表示合法用户，低相关性表示欺骗行为。

实验结果

研究问题

• RQ1 语音助手麦克风与可穿戴设备运动传感器之间的跨域语音相似性，能否有效检测伪造的语音命令？
• RQ2 运动传感器的短响应距离（25 cm）和独特声学响应如何提升对伪装和重放攻击的抵抗能力？
• RQ3 WearID 能否检测传统基于音频的生物识别系统难以察觉的不可听攻击，如隐藏语音命令和超声波攻击？
• RQ4 如何对采样率差异巨大的两种模态数据（8000Hz 与 200Hz）进行有意义的比较以实现认证？
• RQ5 与现有方法（如活体检测或虚拟按钮）相比，WearID 在多大程度上降低了用户操作负担？

主要发现

• WearID 在正常条件下对合法语音命令的验证准确率达到 99.8%。
• 该系统可检测 97% 的各类伪造命令，包括伪装、重放、隐藏语音和超声波攻击。
• 合法命令的中位二维相关系数为 0.5（华为 Watch 2）和 0.4（LG Urban W150），显著高于隐藏语音命令的 0.05 和 0.05。
• 超声波攻击（15–25 kHz）被有效阻断：尽管语音助手麦克风有响应，但两款智能手表的运动传感器均无响应。
• 系统依赖运动传感器的响应特性——短作用距离与独特频率响应——使得攻击者难以伪造跨域相似性。
• WearID 所需用户操作极少，可在检测到唤醒词后被动运行，无需按钮操作或与语音助手设备保持近距离。