[论文解读] Snips Voice Platform: an embedded Spoken Language Understanding system for private-by-design voice interfaces

Alice Coucke, Alaa Saade+10 more|arXiv (Cornell University)|May 25, 2018

Context-Aware Activity Recognition Systems被引用 355

一句话总结

论文描述一个离线、以隐私为设计原则的 SLU 平台，在物联网硬件上运行，使用紧凑的 NN/HMM 声学模型和带有设备本地个性化的动态、领域适配的语言模型。

ABSTRACT

This paper presents the machine learning architecture of the Snips Voice Platform, a software solution to perform Spoken Language Understanding on microprocessors typical of IoT devices. The embedded inference is fast and accurate while enforcing privacy by design, as no personal user data is ever collected. Focusing on Automatic Speech Recognition and Natural Language Understanding, we detail our approach to training high-performance Machine Learning models that are small enough to run in real-time on small devices. Additionally, we describe a data generation procedure that provides sufficient, high-quality training data without compromising user privacy.

研究动机与目标

• 为语音界面设计隐私优先的动机，即不将用户数据发送到云端。
• 开发一个端到端的 SLU 流水线（ASR + NLU），在小型设备上实现实时运行。
• 训练适用于嵌入式硬件的紧凑声学模型和领域适应的语言模型。
• 实现设备端个性化以及对语言模型的高效训练/更新，而不泄漏数据。

提出的方法

• 构建一个紧凑的 NN/HMM 声学模型，基于通用语音训练，并通过数据增强来模拟嘈杂、混响条件。
• 从一个对实体进行抽象以实现泛化的共享数据集训练领域聚焦的语言模型和相应的 NLU 模型。
• 使用转导器的动态、惰性组合（HCLG）来形成满足设备内存约束的运行时解码图。
• 实现设备端的实体注入，以在不传输用户数据的情况下个性化 LM。
• 结合基于混淆网络的置信度评分机制，以检测未在词表中的词汇并提升端到端性能。

实验结果

研究问题

• RQ1 在低资源物联网硬件上实现离线 SLU 同时如何保护用户隐私？
• RQ2 领域自适应的 LM/NLU 集成对嵌入式助手的端到端语音转意图精度有何影响？
• RQ3 在不进行云数据传输的情况下，设备端个性化（实体注入）能否高效执行？
• RQ4 紧凑型声学模型在 Raspberry Pi 3 等设备上如何在准确性、速度和内存之间取得平衡？

主要发现

• 在 Raspberry Pi 3 上实现实时运行的嵌入式 SLU 流水线是可实现的，使用紧凑的 NN/HMM 声学模型 (nnet-256) 和定制的 LM。
• 领域自适应的 LM/NLU 集成在目标用例中实现了较高的端到端精度，弥补了声学模型较小的不足。
• 较小的模型（nnet-256）相比更大版本（nnet-768）在参数数量和内存占用方面显著降低，在搭配经过适配的 LM 和鲁棒 NLU 时仍保持可接受的准确性。
• 通过实体注入实现设备端个性化在数秒至几十秒内可行，实现无需云数据的用户特定词汇更新。
• 基于混淆网络的置信度得分有助于识别 OOV（词表外）单词，提升端到端 SLU 系统的鲁棒性。